Монастырь стоит на юго-западной окраине, у самой воды. Три храма выстроены в одну линию вдоль восточной стены — Зачатьевский собор, Иаковлевская церковь и Димитриевский собор, — и эта линия задаёт ансамблю строгий порядок. Стены и башни с псевдоготическими завершениями дробят силуэт, а над воротами поднимается колокольня. С озера обитель видна целиком, вместе с садом за оградой.
Основан монастырь в 1389 году епископом Иаковом. Паства изгнала его из города, и он ушёл к югу от Ростова, к церкви Архангела Михаила и источнику, где своими руками срубил деревянный храм в честь Зачатия Пресвятой Богородицы. Вокруг собралась небольшая община. После смерти епископа его могилу стали почитать, а в 1549 году Макарьевский собор прославил его в лике святых. Мощи покоятся под спудом.
Обитель называли Зачатьевской — по главному храму — или Иаковлевской, по основателю. До второй половины семнадцатого века все постройки были деревянными, и ни одна не дошла. Первым каменным зданием стал Троицкий собор, позже переименованный в Зачатьевский: его выстроили в 1686 году, освящал митрополит Иона Сысоевич. Через три года ярославские мастера начали роспись; надпись на алтарной стене сохранила дату — 28 мая 1689 года.
Судьба обители переменилась с приездом Димитрия Ростовского. Он прибыл в Ростов 1 марта 1702 года, служил в Троицком соборе и, по преданию, указал место будущего погребения; скончался в 1709 году и похоронен здесь же. 21 сентября 1752 года при починке пола обрели его мощи; 22 апреля 1757 года последовала канонизация. В 1758 году по приказу Елизаветы Петровны из колыванского серебра сделали раку с эпитафией Ломоносова. Чудеса у гробницы записывали в тетрадь: рукопись 1753–1764 годов содержит 288 исцелений.
В 1795–1801 годах на средства графа Николая Шереметева поднялся Димитриевский собор — по проекту московского архитектора Назарова и крепостных зодчих Миронова и Душкина. Храм с лепниной Ивана Фохта и росписями Порфирия Рябова граф задумывал как оправу для мощей и рассчитывал, что их перенесут сюда после отделки. Духовенство не благословило перенос, памятуя волю самого святителя. Лишь с 1909 года мощи ежегодно пребывали в Шереметевском соборе с 25 мая по 28 октября.
В 1928 году договор с общиной расторгли, храмы передали музею, в настоятельских покоях устроили детский дом, а с 1930 года в церквях разместились склады. Музейное отделение открылось здесь в 1988 году, а 15 апреля 1991 года монастырь вернули церкви. Колокольня второй половины восемнадцатого века к началу двадцатого несла 22 колокола, самый большой весил 12,5 тонны. Над источником в 1996 году поставили деревянную часовню.