Дворец Олега - это гражданская постройка XVII-XVIII веков. Первая ассоциация, конечно же, возникает со знаменитым князем Олегом, воспетым Пушкиным. Однако к тому Олегу этот дворец не имеет никакого отношения. Своим именем здание обязано рязанскому князю Олегу Ивановичу, но и то опосредованно. Олег Рязанский умер в самом начале XV века, а здание начали строить только в XVII веке. Все дело в том, что на фронтоне дворца был нарисован княжеский портрет. Сейчас портрет утрачен, а название сохранилось. По одной из версий, до этого на том же самом месте действительно стоял дворец, в котором жил Олег. В XVII веке здание было местом жительства рязанских архиереев, сейчас в нем размещается музей.