Первым пензенским архиереем стал епископ Гаий (Такаов), который происходил по женской линии из князей Грузинских, ведущих свою родословную от библейского царя-пророка Давида, от которого происходит по плоти и сам Иисус Христос.

Когда 16 (27) октября 1799 года была учреждена Саратовская епархия, вновь назначенный епископ Саратовский и Пензенский Гаий, за неимением подходящего для резиденции дома в Саратове, занял пустующий губернаторский дом в Пензе, который с тех пор и получил название архиерейского.

Приехав в Пензу, епископ Гаий занялся поисками средств на постройку заложенного недалеко от архиерейского дома Спасского кафедрального собора, и уже в 1804 году состоялось освящение его нижней церкви во имя Благовещения Пресвятой Богородицы.

Другим важным событием в жизни епархии за время пребывания на пензенской кафедре епископа Гаия было открытие в Пензе духовной семинарии, которая разместилась в бывшем вице-губернаторском доме, освободившемся в связи с упразднением Пензенской губернии.

Преосвященный Гаий с 1803 года стал называться епископом Пензенским и Саратовским. Он руководил епархией до начала 1808 года, когда указом Священного Синода от 10 января был переведен на Астраханскую кафедру с саном архиепископа.

Публикация подготовлена по информации из открытых источников и по материалам издания «Пензенская энциклопедия»: / Гл. ред. К.Д. Вишневский. — Пенза: Министерство культуры Пензенской области, М.: Большая Российская энциклопедия, 2001.