В ноябре 1862 года управляющим Пензенской епархией стал викарий Херсонской епархии епископ Антоний (Смолин), вошедший в историю Пензенской Церкви как Антоний I.
Наследство, доставшееся ему от прежнего архиерея, было в полном порядке. Лишь место нахождения училища девиц духовного звания в богадельне Казанской церкви Преосвященный нашел неудачным из-за разлива реки и подыскал для него каменное здание в центре города на Лекарской улице.
В 1866 году он расширил и перестроил крестовую церковь в архиерейском доме. В том же году начал выходить журнал «Пензенские епархиальные ведомости».
В 1867 году при Пензенской духовной семинарии открылась воскресная школа, и состоялось освящение храма в отстроенном после пожара здании семинарии.
21 августа 1868 года Преосвященный Антоний был перемещен в город Пермь, став епископом Пермским и Верхотурским.
Публикация подготовлена по информации из открытых источников и по материалам издания «Пензенская энциклопедия»: / Гл. ред. К.Д. Вишневский. — Пенза: Министерство культуры Пензенской области, М.: Большая Российская энциклопедия, 2001.