На Сусанинской площади дом читается как присутственное здание: трёхэтажный центр под крупным фронтоном, симметричные крылья, 8 коринфских колонн. Между тем это частный особняк, построенный для одного человека и его семьи, — одна из крупнейших городских усадеб Костромы первой половины девятнадцатого века.
Хозяином был Сергей Семёнович Борщов, генерал-лейтенант. Ему принадлежала старая усадьба с деревянными домами на центральной Екатеринославской площади; выйдя в отставку, он начал в 1819 году каменный флигель, а в 1824 году по проекту губернского архитектора Николая Метлина возвели главный дом.
Композиция выдаёт желание хозяина выглядеть на уровне губернского центра. Центральную часть держит строгий портик с 8 колоннами и фронтоном, боковые крылья ниже на этаж, их торцы тоже отмечены портиками, а весь нижний этаж обведён рустовкой. Боковой фасад по бывшей Павловской улице решён скромнее — там только 4 колонны, а парадный вестибюль и вход сделаны с улицы Шагова. Дом стоит в глубине площади, и потому его крупный масштаб воспринимается как общественный. В ансамбле площади он и работает как казённое здание: связывает парадную каланчу, нарядную гауптвахту и Присутственные места.
Известность дому принесли не стены, а гости. В 1834 году здесь останавливался Николай Первый, а вместе с ним наследник престола Александр Второй, которого сопровождал воспитатель — поэт Василий Жуковский.
Дальше начинается история здания, а не усадьбы. В пожаре 1847 года дом сильно пострадал, и наследник Борщова продал его неотстроенным купцу Первушину. Тот отремонтировал особняк и в 1852 году предложил городу купить его за 25000 рублей серебром для присутственных мест; торг затянулся, купец поднимал цену, а 12 октября 1857 года министр внутренних дел Ланской положил резолюцию: покупку оставить без последствий, а деньги употребить на постройку 4 новых тюрем в губернии. Получив отказ, Первушин открыл в доме гостиницу «Лондон».
В 1870 году город всё-таки выкупил усадьбу и перестроил её для окружного суда, а гостиницу перенесли в здание через дорогу. С тех пор за домом закрепилась роль казённого присутствия: в 1913 году, во время высочайшего проезда по площади, его снял Карл Булла. Портик и рустовка нижнего этажа — приёмы, которыми в губернских городах отмечали присутственные места, а не жильё. Частный особняк, построенный для отставного генерала, оказался прочнее собственной биографии.