Один музей занимает три адреса, и каждое здание — объект культурного наследия федерального значения. Русская живопись живёт в доме военного губернатора в кремле, зарубежная — в особняке купца Дмитрия Сироткина на Верхне-Волжской набережной, искусство двадцатого века — в корпусе верхнепосадских торговых рядов на площади Минина и Пожарского. Собрание при этом единое: маршрут связывает эпохи, а не просто залы.
История началась с решения Городской думы от 14 июля 1894 года. За ним стояли профессор Академии художеств Николай Кошелев и фотограф Андрей Карелин, вместе с местной творческой интеллигенцией. Первым домом музея стала Дмитриевская башня кремля, где открыли два отдела — исторический и художественный. Открытие провели 25 июня 1896 года, по новому стилю 7 июля.
Торжество приурочили к Всероссийской художественно-промышленной выставке 1896 года. Через месяц среди посетителей оказалась императорская чета — Николай Второй и Александра Фёдоровна, которым преподнесли две специально отлитые золотые медали. Для тех, кто жертвовал на музей, выпустили памятные медали: 25 серебряных и 300 бронзовых. Одновременно в башне развернули выставку Общества художников исторической живописи, посвящённую Смутному времени.
Собрание складывалось из даров. Полотна передали Кошелев и Карелин, Репин, Маковский, Рябушкин, Боголюбов, Тюменев; Академия художеств прислала работы Венига, Мещерского и Ковалевского, от Андрея Осиповича Карелина поступили картины ступинской школы. После 1917 года приток пошёл из национализированных дворянских собраний — Шереметевых, Орловых-Давыдовых, Абамелек-Лазаревых, а Максим Горький отдал из личного собрания Рериха, Нестерова и Кустодиева.
Сегодня в фондах больше 12 тысяч произведений. Известность музею принесло огромное полотно Константина Маковского «Воззвание Минина к нижегородцам» и коллекция старых мастеров: Эль Греко со «Святым Иаковом Старшим», вывезенным из Венгрии после Великой Отечественной войны, Кранах Старший, Тинторетто, ван Остаде, Белотто. Рядом — мейсенский и севрский фарфор, скульптура Родена и русский авангард Ларионова, Гончаровой, Малевича. Иконы четырнадцатого — девятнадцатого веков соседствуют с лаковой миниатюрой и хохломской росписью.
Выставки музей показывает и за пределами трёх зданий — в Манеже в кремле и в пакгаузах на набережной. Постоянная экспозиция в доме Сироткина даёт возможность увидеть западноевропейскую живопись пятнадцатого — начала двадцатого века в подлинниках.