В старом центре города сохранился земляной вал, где располагался монастырь с церковью Вознесения основанной 1620-х годах. Неподалеку от старой торговой площади стоит полуразрушенная церковь Сошествия Святого Духа постройки 1789 года. Одно из важных мест в архитектурном облике современного Козельска занимает церковь Благовещения основанная 1810 году, с колокольней пристроенной в 1825 году, располагающаяся на возвышении в северной части города и Покровская церковь постройки 1885 года.
Из памятников гражданской архитектуры сохранились до нашего времени многочисленные каменные купеческие особняки последней четверти ХVIII века с первозданными наличниками, бывший дом Цыплакова постройки начала ХIХ века, два дома Брюзгиных с портиком на монументальном арочном цоколе и с ампирным фронтоном, возле старой торговой площади, рядом сохранилось здание бывшей гостиницы Зотова относящейся к середине XIX века. К более скромной типовой постройке того же времени можно отнести дом Вялкинского с балконом в мезонине, построенный на южном конце центральной улицы – это мемориальное здание, связанное с пребыванием в Козельске И.С.Тургенева.