Терем с кокошником над входом и надписью, стилизованной под старину, Павел Третьяков не увидел. Основатель умер в тысяча восемьсот девяносто восьмом году, а фасад по рисунку Виктора Васнецова вырос на Лаврушинском переулке между тысяча девятьсот вторым и тысяча девятьсот четвёртым. При его жизни галерея выглядела как разросшийся купеческий дом с пристройками — и это точнее всего говорит о её происхождении.
Началось с покупки. В тысяча восемьсот пятьдесят шестом году молодой торговец льняными тканями приобрёл две работы современных русских художников — «Искушение» Николая Шильдера и «Стычку с финляндскими контрабандистами» Василия Худякова. От этой даты принято отсчитывать историю музея, хотя более ранние приобретения не исключены: просто документов не сохранилось. Через одиннадцать лет дом открылся для публики, и к нему стали пристраивать залы — коллекция росла быстрее, чем комнаты.
Метод собирателя был прост и жёсток: ходить по мастерским и выставкам, брать лучшее, не дожидаясь, пока имя прогремит. Третьяков покупал и то, что начальство не одобряло: по совету Льва Толстого он взял репинского «Ивана Грозного» и «Милосердие» Николая Ге — вещи, у которых были нелады с цензурой. В шестьдесят восьмом его избрали вольным общником Академии художеств. Художники это ценили: для многих он оказывался тем покупателем, который приходил первым.
Отдельная линия — портреты. Третьяков заказывал их как галерею лиц: Перов написал для него Достоевского и Тургенева, Крамской — Льва Толстого. С Толстым вышла история: граф позировать не желал и всячески мешал работе, и художник сумел написать только голову, а фигуру и одежду доделывал по памяти. Портрет Достоевского, созданный за несколько лет до смерти писателя, считается одним из самых проникновенных изображений.
В тысяча восемьсот девяносто втором году галерея перестала быть частной. Поводом стала смерть брата Сергея, завещавшего Москве свою коллекцию, половину дома и капитал; Павел соединил оба собрания и передал их городу, а сам остался пожизненным хранителем. Позже в музейный комплекс вошла церковь Николы в Толмачах — теперь это храм-музей, где висят иконы.
Фасад, придуманный Васнецовым, — редкий случай, когда художник оформлял дом для картин собрата по цеху: его собственные «Богатыри» висят внутри. Считается, что Третьякову нужна была не слава коллекционера, а национальный музей русской живописи, — и терем над входом читается как оправа для этого замысла.