В конце XVIII века усадьбой владел князь И. М. Одоевский, после него — участник Наполеоновских войн и декабрист Михаил Федорович Орлов. Семья Орловых была близкими друзьями А.С. Пушкина — именно Е.Н. Орлова стала прообразом Марины Мнишек в поэме «Борис Годунов».

После смерти Орлова часть комнат в особняке стали сдаваться в аренду. Одним из постояльцев тех времен был Исаак Левитан. Среди известных жителей усадьбы значился также Борис Пастернак, который был домашним учителем сына одного из домовладельцев французского купца-галантерейщика Морица Филиппа.

Особняк, некогда принадлежавший одному из основателей «Союза благоденствия» П.П. Лопухину, является ярким образцом московского ампира. Сегодня в доме располагается Музей Льва Николаевича Толстого. Несмотря на то, что сам писатель здесь никогда не бывал, сегодня здесь хранится, кроме всего прочего, рукописный фонд Толстого, насчитывающий более двух миллионов страниц. Заглянув сюда, можно своими глазами увидеть личные вещи Толстого, а также подлинники рукописей «Войны и мира» и  «Анны Карениной».

В 1814 году усадьбу, а точнее то, что осталось после нее в результате пожара 1812 года, приобрел состоятельный помещик А.П. Хрущев. Семья Хрущевых была дружной — все 14 детей, даже повзрослев, часто навещали родительский дом. Через дочь Елизавету Хрущев породнился с родом Нарышкиных, которые жили неподалеку (их дом будет следующим в нашем маршруте). Муж Елизаветы Хрущевой, Алексей Иванович Нарышкин, был сыном тайного советника и сенатора Ивана Александровича Нарышкина, дяди Н.Н. Гончаровой и посаженным отцом на ее свадьбе с А.С. Пушкиным.

С 1961 года здание занимает музей А.С. Пушкина.

В конце XVIII века усадьба принадлежала московскому военному губернатору И.П. Архарову, но уже в 1818 году её, сильно пострадавшую от пожара, покупает Иван Александрович Нарышкин.

В 1910 одинокая пожилая вдова Александра Ивановна Коншина затеяла масштабную перестройку особняка — на месте прежней постройки архитектор А.О. Гунст возвел роскошный дворцовый ансамбль, сохранив от прежнего облика особняка лишь размеры.

В 1922 году во дворце Коншиной разместился «Дом ученых». В 1932 к нему был пристроен дополнительный корпус в конструктивистском стиле.

По одной из версий автором первоначального облика особняка был известный московский архитектор М.Ф. Казаков. Первым владельцем дома был врач Христиан Лодер, лечивший своих пациентов, «лодырей», отдыхом, прогулками, классической музыкой и минеральной водой. 

После войны в особняке разместилась хореографическая школа-студия Айседоры Дункан, а вскоре после свадьбы с известной американской танцовщицей здесь поселился и Сергей Есенин.

В 1770-х годах владельцем дома был генерал от инфантерии, обер-полицмейстер Москвы, Н.П. Архаров. Именно от его фамилии произошел термин «архаровец», изначально использовавшийся для ироничного обозначения служителя полиции. 

Впоследствии зданием владел герой Отечественной войны 1812 года, генерал Г.И. Бибиков. Будучи ценителем музыки, он нередко устраивал в особняке роскошные балы, на которых можно было встретить А.С. Пушкина, князя Петра Вяземского и графа Федора Толстого.

В 1830-х усадьба стала собственностью другого героя войны 1812 года, генерал-лейтенанта, «главного партизана» и поэта Д.В. Давыдова.

Одним из владельцев усадьбы был князь А.Н. Долгоруков. Его старший сын Илья Андреевич, член ранних декабристских обществ, был упомянут в стихах А.С. Пушкина как «осторожный Илья». Средний сын, Василий, занимал пост начальника III Отделения Императорской канцелярии, который оставил после покушения Каракозова на Александра II, считая, что не справился со своими обязанностями. А младший, Владимир, служил московским генерал-губернатором.

После реставрации в 1998-2001 годах здесь расположился Музейно-выставочный комплекс Российской Академии художеств «Галерея искусств Зураба Церетели».

Известный промышленник, меценат и коллекционер выкупил усадьбу в 1899 году. Особняк он приобрел, перебравшись их Твери, и вскоре перестроил его в импровизированную галерею с целью разместить в ней свою стремительно растущую коллекцию. Однако после революции всю собственность Морозовых, включая грандиозное собрание живописи, государство конфискует. Организованная Иваном Морозовым галерея становится «Вторым музеем новой западной живописи», а его самого назначают заместителем хранителя коллекции. Не выдержав утраты, он эмигрирует в Европу, где вскоре умирает.

Сегодня полотна Морозова включены в фонды Эрмитажа и Музея изобразительных искусств им. А.С. Пушкина.

Мимо этого дома не проходит ни один экскурсионный маршрут, однако, пожалуй, его экстерьер гораздо интереснее истории. В 1903 году усадьбу мещанина Федора Стрельцова выкупила домостроительная фирма «Московское Торгово-строительное акционерное общество». Я.А. Рекк, директор-распорядитель компании, поставил себе цель украсить город «стильными домами, которые, имея технические удобства западноевропейских городских строений, в то же время не убивали бы национального колорита Москвы».

Старые строения были немедленно снесены, а на их месте по проекту архитектора Л.Н. Кекушева выстроен 5-6 этажный доходный дом, проданный петербургскому купцу И.П. Исакову.

В 1882 владельцы усадьбы купцы Пеговы сдали строения в аренду для мужской гимназии Льва Ивановича Поливанова. Преподавали здесь по самым передовым учебным программам своего времени, а плата за обучение была по силам лишь состоятельным родителям. Среди воспитанников Гимназии Поливанова — Владимир Соловьев, Валерий Брюсов, Андрей Белый, Максимилиан Волошин, художник Александр Головин, чемпион мира по шахматам Александр Алехин. Здесь же учились сыновья Льва Николаевича Толстого.

Сегодня в здании Гимназии расположены Детская художественная школа № 1 и Детская музыкальная школа № 11 им. В.И. Мурадели.