Древнее ядро города - кремлёвский холм, высокий мыс на левом берегу реки Нара, при впадении в неё реки Серпейка. От треугольного в плане белокаменного кремля (5 башен, 3 полубашни) сохранились фрагменты восточного участка стены. В кремле - Троицкий собор (1696).
На правом берегу Нары - ансамбль Владычного монастыря (основан в 1360 г. московским митрополитом Алексием), на левом - Высоцкого (основан в 1374 г. Сергием Радонежским) монастыря.
На территории древнего посада - Троицкая церковь со стройной колокольней (до 1714 г.) и Ильинская церковь (1748, барокко). К югу от кремля - церковь Николы Белого (1835-57, на месте храма 16 в.).
В заречной части города, на правом берегу Нары - Сретенская церковь (1700-02), Никольская церковь (Николы Будки, 1711), Покровская церковь (1721).
Регулярный план застройки, принятый в 1784 г., из-за сложного рельефа был воплощён лишь частично.
сохранились многочисленные дома второй половины 18-19 вв., в т.ч. городская усадьба Сологубов (конец 18 в.), торговые ряды (первая половина 19 в.) и др.
Город интенсивно застравилася в 1950-80-х гг., особенно в северной и восточных частях.
Близ Серпухова, в 7 км к юго-западу - Подмоклово, бывшая усадьба князей Долгоруких с церковью Рождества Богоматери (1714). В 10 км к северу от Серпухова, на высыском берегу Нары, - Рай-Семёновское - бывшая родовая вотчина Нащокиных.
