Приход храма известен с 1625 года. Строение современного здания храма связано с Полтавской победой и завершено в 1711 году. Архитектором официально считается Иван Зарудный, но последние исследования дают основания таковым признать Григория Устинова. Главный престол освящён во имя мученика Иоанна Воина, боковые приделы в честь мучеников Гурия, Самона и Авива, и святителя Димитрия Ростовского. Главный предел был освящен в 1717 году местоблюстителем патриаршего престола, митрополитом Рязанским Стефаном (Яворским). В храме совершали богослужения Святейшие патриархи Сергий (еще в сане митрополита), Алексий I, Пимен, и Алексий II.