Дорога из Боровска идёт в гору, обитель открывается не сразу: сначала башня над деревьями, потом стена, потом собор. Пафнутий выбрал для монастыря возвышенность при впадении Истерьмы в Протву; в 1444 году здесь появилась первая, ещё деревянная, церковь. Вода и склон прикрывали подступы, но к шестнадцатому веку обитель обзавелась каменными стенами и стала пограничной крепостью, а не только местом молитвы.
Первый каменный собор поставили при жизни основателя. Расписывал его Дионисий, работавший под началом старца Митрофана, и эта роспись считается самой ранней из известных работ иконописца. В 1586 году собор почти полностью разобрали, а на его месте по воле царя Фёдора Иоанновича вырос новый, пятиглавый. Блоки с прежней живописью уложили в фундамент. В 1960-е годы реставраторы извлекли из кладки 194 белокаменных блока, и на 29 из них уцелели фрагменты росписи начала шестнадцатого века.
Колокольня моложе стен: до неё тут стояла звонница 1523 года. Нынешнюю возвели в 1688 году по заказу князя Константина Щербатова; она повторяет формы колокольни Высоко-Петровского монастыря в Москве. Башни и прясла складывались в шестнадцатом и семнадцатом веках. Есть версия, что Поваренной, Оружейной и Георгиевской башнями руководил Фёдор Конь, строитель Смоленского кремля, но современные исследователи относят ограду ко времени сразу после собора. Круглая башня, самая старая из сохранившихся, поставлена сразу после собора и колокольни, ещё до Смуты. После Смуты разрушенное достраивал мастер Трефил Шарутин: его работа — Тайницкая, Георгиевская и Оружейная башни, затем Сторожевая и Входная.
Летом 1610 года к монастырю подошло войско самозванца и гетмана Сапеги. Воевода Михаил Волконский держал оборону с отрядом в 600 стрельцов: деревянный боровский кремль обветшал, защищаться в нём было нельзя. Три штурма отбили. На четвёртый день ворота входной башни открылись: открыли их, как считается, двое воевод, Яков Змеев и Афанасий Челищев. Волконский погиб в соборе, у левого клироса. Погибли несколько тысяч человек: стрельцы, монахи и крестьяне, укрывшиеся за стенами.
В 1812 году монастырь сожгли французы, но вскоре восстановили, а страшнее оказался двадцатый век: в 1923 году имущество перешло музею, затем в стенах разместили исправительную колонию, потом сельскохозяйственный техникум. Церкви монастырь вернули в марте 1991 года. Службы начались в Ильинской церкви, куда перенесли часть мощей Пафнутия; в 1995 году открыли собор, а год спустя на колокольню подняли колокола.
За воротами снова монастырский двор, и от стены видно Протву, луга и дорогу, уходящую к городу. Стена низкая, но настоящая, с бойницами и следами многих починок: каждый век оставил на ней свой кирпич.