В 5 комнатах этого дома жила семья из 16 человек, а будущий писатель ютился в подклети — полуподвальном помещении с отдельным входом из сеней. Одноэтажный деревянный дом на полуподвале стоит на Почтовом съезде, 21, и это одно из старейших гражданских зданий города: главный дом усадьбы Кашириных построен в конце восемнадцатого века.
Первым известным владельцем усадьбы был купец Брызгалов, возивший хлеб на своих судах в Санкт-Петербург и торговавший на Нижнем базаре рыбой и холстами. Позади дома стояли рабочая изба и красильня, где жила и работала семья его крепостных мастеров Можаровых. После смерти Брызгалова в 1817 году усадьба перешла к его сестре, Можаровы записались в городское цеховое общество, а через 10 лет выкупили дом — красильный промысел считался в городе лучшим. Тогда же со стороны кухни пристроили комнату Михаила и деревянный «магазин» для приёма и сдачи товара.
В 1852 году наследники продали усадьбу дяде, Василию Васильевичу Каширину, за 428 рублей серебром. В 1876 году его сын Яков продал домовладение виноторговцу Фёдору Иванову, остановил красильню, вывез оборудование на Напольную улицу — нынешнюю Белинского — и попробовал начать заново, но заказы перехватили конкуренты, и дело прекратилось.
Дальше дом пережил череду унижений: винная лавка с вывеской «Взойдём — отдохнём», пивная, продажа на слом городской управе в 1916 году. Снести не успели — случилась революция, управа исчезла, а дом заняли бездомные волжские грузчики. В 1920-е здесь снова открылась пивная, а полуразвалившиеся надворные постройки пошли на дрова.
Музей появился благодаря Фёдору Хитровскому, другу Горького и первому исследователю истории усадьбы. Идею воссоздать дом по описанию из повести «Детство», написанной в 1912 году на Капри, поддержали в горисполкоме и Наркомпросе. Открытие состоялось 1 января 1938 года. Интерьеры восстановили, опираясь на текст повести: кухня с розгами у печи, комната деда с фотографией гласных городской думы, комната бабушки с коклюшками и периной. Во дворе в 1956 году открыли мраморный памятник юному Алёше Пешкову работы скульптора Андрея Кикина, рядом воссозданы каретник, амбар и красильня. Музей числится филиалом Государственного музея А. М. Горького и носит второе имя — Музей детства писателя.
К 150-летию Горького, которое отмечалось в 2018 году, музей отремонтировали, а во флигеле открыли детский центр. Домик интересен как редкий случай честной реконструкции: стены подлинные, но обстановка собрана по литературному тексту, и сам музей этого не скрывает.