Галерея размещена на месте старинного особняка архитектора Евграфа Тюрина, в котором раньше также была картинная галерея. Но ее снесли в 2002 году для строительства нового корпуса картинной галереи Александра Шилова. В 1996 году художник обратился в Государственную Думу с предложением принять от него в дар государству свыше 350 своих лучших работ. Ответный шаг сделало Правительство, учредив картинную галерею А.М.Шилова и выделив здание недалеко от Кремля.

Церковь расположилась в переулке, где раньше находился Колымажный двор. Главный храм предположительно был построен во второй половине XVI века. Позже к нему был пристроен Никольский храм и колокольня. В 1929 году церковь Святого Антипы была закрыта и передана под жилые помещения Ассоциации Художников Революции. Какое-то время здесь жил художник Валентин Серов. От уничтожения храм спасла и близость Пушкинского музея (ГМИИ), на какое-то время церковь стала отделом хранения коллекций музея. В конце 1960-х годов храм отреставрировали. Сейчас он возвращен церкви.

В середине XIX века это была большая усадьба с многочисленными постройками, принадлежавшая сначала купчихи Арбузовой, позже часть владения была продана потомственной гражданке Лепешкиной. В 1909—1911 годах вплотную к главному дому усадьбы, на углу улицы и переулка, возводится доходный дом Шамшина, и часть строений купеческого поместья сносится. Уцелел только главный дом, выходящий на красную линию Знаменки.

Особняк с пышным эклектичным декором был построен в конце XIX века архитектором Фрейденбергом по заказу почетной гражданки Варвары Лепешкиной, дочери владельца Прохоровской мануфактуры. После революции особняк отошел сначала Коммунистической академии, а затем — Институту государства и права Академии наук. В 1930 году дом был надстроен еще на два этажа. Сейчас здание занимает Правовой Университет РАН — ведущее научное юридическое учреждение страны.

Дом начала XX века принадлежит авторству двух архитекторов — планировка сделана Благовещенским, декор — Федором Шехтелем. Здание считается одним лучших модерновых творений Шехтеля. Владельцем особняка был Алексей Шамшин, акционер завода нового для России производства кабеля и медного проката. Кстати, дом Шамшина один из первых в Москве был оснащен лифтом. В 1917 году завод национализировали, а особняк у хозяев отобрали. Фасад лишился большей части декора: балконов средних этажей и ленточного балкона на уровне верхнего этажа, а также фриза. С момента постройки и до сегодняшнего дня дом остается жилым.

Нынешнее здание академии Гнесиных считается прародителем Большого театра. В этой усадьбе, тогда принадлежавшей графу Воронцову, в 1769 году открылся Знаменский оперный дом. В 1780 году театр сгорел, и Майкл Меддокс, театральный антрепренер, начал постройку Большого Петровского Театра на Неглинке – так родился Большой Театр на Театральной Площади. В 1825 году восстановленный особняк принадлежал графу Сергею Гагарину, владельцу усадьбы Ясенево. Его знаменский дом был светским салоном Москвы: здесь собирались известные литераторы и общественные деятели, среди которых и сам Лев Толстой. Он изобразил этот дом как дворец старого графа Безухова в «Войне и мире», а в «Анне Карениной» в этом доме жила семья Стивы Облонского. После революции здесь располагалась обычная средняя школа, а с 1962 года – музыкальная школа им. Гнесиных.

Для расчистки места под здание, занимающее целый квартал, были снесены строения на Знаменке, Воздвиженке, Арбатской площади, в переулках. Среди них – исторические памятники, например, дом, где жил Петр Чайковский. Архитектурный стиль Генштаба в целом характерен для советских административных зданий 1960-1970-х годов, но в то же время в оформлении порталов и в рисунке венчающей части сооружения заметны черты постмодернизма.

В 1790-х годах генерал Степан Степанович Апраксин выкупил два владение по Знаменке и выстроил вдоль улицы протяженный двухэтажный дом. Во время Отечественной войны 1812 года здесь разместился штаб французских войск, в котором служил Стендаль. После пожара 1812 года дом был отстроен заново, и в нем несколько лет играла труппа Московского императорского театра, где выступали и крепостные артисты самого Апраксина. После смерти владельца особняк занимали различные учебные заведения, кадетский корпус, Александровское военное училище. В 1944-1946 годах здание полностью перестроили по проекту М. В. Посохина и А. А. Мндоянца приложив к нему тяжелый 12-колонный портик, заполненный военными атрибутами. Сейчас это здание Министерства обороны РФ.