Дворец назван не по фамилии владельцев, а по мосту: Аничкову мосту досталось имя от батальона Михаила Аничкова, строившего переправу. Сам дворец заложили в 1741 году, вскоре после восшествия Елизаветы Петровны на престол, и он считается старейшим из сохранившихся зданий Невского проспекта.
Проект в виде растянутой буквы «Н» сделал Михаил Земцов, но архитектор умер в 1743 году, и достраивал дворец Растрелли. Место выбрали на въезде в город: Фонтанка тогда была окраиной, а Невский проспект — просекой. От реки к дворцу прорыли канал с небольшой гаванью, поэтому здание стоит к проспекту боком. Сад при дворце с фонтанами и цветниками напоминал Петергоф.
Дворец был подарком, и не один раз. Елизавета отдала его Алексею Разумовскому. Екатерина Вторая выкупила дом у его брата и подарила Григорию Потёмкину, добавив 100 тысяч рублей на обустройство «по вкусу». При Потёмкине, в 1776–1778 годах, Иван Старов переделал здание в классицизм: разноэтажность исчезла, лепнина пропала, гавань засыпали.
В конце восемнадцатого века дворец откупили в казну, и в нём разместился Кабинет Его Императорского Величества. Для Кабинета Кваренги построил на набережной перед дворцом 2 корпуса, которые закрыли вид на усадьбу с Аничкова моста. В 1817 году Александр Первый подарил дворец брату Николаю Павловичу на свадьбу. Николай жил здесь с Александрой Фёдоровной, давал балы, а в 1837 году, когда Зимний восстанавливали после пожара, сюда переехала вся императорская семья. У его сына, будущего Александра Второго, учителем был Василий Жуковский, у которого во дворце имелась собственная квартира.
В 1841 году Николай отдал дворец сыну Александру, а тот через четверть века — своему сыну, будущему Александру Третьему. При Александре Третьем дворец стал постоянной резиденцией: император, опасаясь террористов, велел построить глухую стену со стороны площади. После смерти Александра Третьего здесь жила вдовствующая императрица Мария Фёдоровна; с конца девятнадцатого века при дворце работала школа для детей дворцовых служащих. После революции в залах ненадолго открылся музей города, но в 1925 году его закрыли.
12 февраля 1937 года в здании начал работать Ленинградский дворец пионеров. В первую блокадную зиму там размещался хирургический стационар, а в мае 1942 года дворец снова открыли для детей. Сегодня это Дворец творчества юных и Аничков лицей; перед главным корпусом растёт берёза, посаженная космонавтами Германом Титовым и Владимиром Комаровым.