Дворец на улице Степана Разина, 24 поставили в 1776 году по указу Екатерины Второй — как дом для отдыха императорской семьи в дороге между двумя столицами. Проект в стиле раннего классицизма выполнил архитектор Пётр Романович Никитин. Первый дворец на этом месте был деревянным и позже перешёл в ведение магистрата, а улица, на которой стоит каменный, до революции называлась Дворцовой. Комплекс отмечен в списках памятников регионального значения: главный дом — под номером 24, южный флигель — 26, северный — 28.
Место выбирали по указанию самой императрицы: в 1775 году она велела новгородскому генерал-губернатору Якову Сиверсу поставить дом «на пристойном месте, с коего б город и новое в оном каменное строение видны были». Дворец занял высокий левый берег Тверцы, откуда открывался вид на центр, уже застроенный камнем.
Дом был не один. Путевые дворцы ставили по Московско-Петербургскому тракту цепочкой, чтобы знатная особа могла переждать дорогу, поесть и переменить лошадей. Торжокский проект признали образцовым и повторили в Вышнем Волочке, Выдропужске, Медном и Городне.
Композиция П-образная: главный дом соединён с двумя одноэтажными флигелями стеной с железной оградой и въездными воротами, внутри — парадный двор. Фасад держится на дорическом портике, над ним треугольный фронтон; анфилады устроены в обоих этажах, а главные покои были наверху. Больше половины второго этажа занимал парадный зал, в западной анфиладе помещалась спальня императрицы — из её окон были видны город и река.
В 1787 году Екатерина Вторая проехала через Торжок на обратном пути из Крыма: дорога, для которой строили дом, оставалась главной. Потом здание пошло служить городу. В 1827 году его купило Торжокское градское общество для больницы и воспитательного дома. В 1830 году дом передали Владимирскому уланскому полку, а в 1840–1842 годах перестраивали по проекту архитектора Ивана Львова.
В 1855 году комплекс вернулся городу. Предположительно в 1859 году здесь открылось женское училище, в 1874 году ставшее гимназией. В 1918 году на его базе начала работу школа второй ступени, в 1924–1926 годах дворец был рабочим клубом. В 1926 году в нём открылась первая в городе школа-семилетка, позже средняя школа № 1, а с 1979 года здесь размещалась школа рабочей молодёжи. В 2010 году городской комитет по имуществу обменял дворец на 6 квартир, и прокуратура признала сделку незаконной. В 2018 году реставрацию комплекса включили в проект восстановления исторического центра, рассчитанный до 2025 года.