Музей городской скульптуры является преемником Музея-Некрополя, основанного в 1932 г. с целью сохранения уникального собрания мемориальной скульптуры XVIII – начала ХХ века. Президиум Ленсовета 28 июля 1932 г. объявил Лазаревское кладбище бывшей Александро-Невской лавры Заповедником-музеем, присоединив к его территории соседнее Тихвинское и здание Благовещенской церкви для создания в них музея надгробной скульптуры. В 1935 г. на правах филиала был музеефицирован Некрополь «Литераторские мостки». Первым директором нового музея стал Николай Викторович Успенский (1885–1947), под чьим руководством вместе с членами «Общества изучения, популяризации и художественной охраны Старого Петербурга и его окрестностей» проводились исследовательские работы на Лазаревском кладбище ещё в 1920-е гг. 18 сентября 1937 г. Музей-Некрополь был впервые открыт для посещения.
В 14 июля 1939 г. по решению Президиума Ленсовета Ленинградский Музей-Некрополь в связи с передачей в его ведение городских памятников и мемориальных досок реорганизован в Ленинградский Музей городской скульптуры.
В Великую Отечественную войну работники музея провели огромную работу по укрытию и консервации памятников города, ни один из которых не был разрушен во время блокады. Лишь в 1947–1949 гг., после завершения первоочередных восстановительных работ, музей открыл оба некрополя для экскурсий.
Начиная с 1947 г. музей принимал участие работе по сооружению новых памятников Ленинграда: участвовал в художественных советах и конкурсных жюри, организовывал выставки и обсуждения проектов памятников. С конца 1948 г. Дирекция художественных выставок и панорам передавала музею конкурсные проекты всех памятников, намеченных к установке в Ленинграде. В 1955 гг. была открыта новая экспозиция на основе коллекции моделей памятников города, посвященная истории и развитию русской и советской монументальной скульптуры. Со 2 июля 1969 года музей переименован в Государственный музей городской скульптуры.
В 1980 г. в музее городской скульптуры появился новый отдел – «Нарвские Триумфальные ворота»: внутри уникального памятника была создана экспозиция, посвященная Отечественной войне 1812 г. и истории создания триумфальных ворот.
В 2002 г. открылся Новый выставочный зал музея городской скульптуры, сразу ставший известным как площадка для проведения разнообразных креативных выставочных проектов, кинопоказов и лекций, мероприятий для взрослых и детей.
В 2004 г. правительством Санкт-Петербурга музею городской скульптуры была передана мастерская выдающегося скульптора М.К. Аникушина. После завершения масштабных ремонтных работ в 2015 г. в филиале музея была открыта мемориальная экспозиция и площадка для современных выставочных проектов.
В 2012 г. музею был передан усадебный комплекс «Уткина дача» — памятник культурного наследия федерального значения. В настоящее время идет реставрация объекта, находившегося в аварийном состоянии. После завершения реставрационных работ музей планирует разместить в усадебном доме экспозиции из своих фондов.