Одним из них владела семья действительного статского советника Льва Федоровича Людоговского. Людоговские и их потомки проживали здесь с 1836 до 1925 года. Их деревянный дом выходил на красную линию Георгиевского переулка.
С южной стороны от владения Людоговских располагалась усадьба с деревянным ампирным особняком и хозяйственными службами, которая с конца 19 века и до 1917 года принадлежала семейству Голицыных.
Строительство в 1958 году здания школы (д. 6 стр.1) и в 1980 году 4-х этажного здания спорткомплекса привело к утрате всей исторической застройки территории за исключением д. 6, с. 3.
Участок, где сейчас находится сохранившееся строение, располагался в глубине квартала и имел узкий проход в Гранатный переулок. Его владельцами числились надворный советник, штаб-лекарь И.А. Килиан, художник, академик живописи И.Т. Дурнов, действительный статский советник И.П.Хомутов.
Двухэтажный смешанный дом с верхним деревянным этажом и двумя симметричными боковыми крыльями был построен в середине 1830-х. Этот дом и стал основой современного строения № 3. В течение 1860-1870 гг. к дому с разных сторон пристраивались дополнительные объемы. А в 1887 г. перпендикулярно главному дому возводится отдельный каменный корпус, сначала одноэтажный, в 1913 г. надстроенный вторым, а позже и 3-м этажом. Корпус соединялся со старым строением двухэтажной встройкой с проездом в нижней части. Сложившаяся к 1915 году объемно-планировочная структура здания сохранилась до настоящего времени без изменений.
Для художественного оформления южного и северного (дворового) фасадов характерно обилие декора. Окна 2-го этажа обрамлены наличниками с консолями и сложнопрофилированными сандриками с растительным лепным орнаментом и маскаронами. Парадная дверь фланкирована гладкооштукатуренными пилястрами, а окно над ней каннелированными пилястрами с коринфскими капителями. Простенок между венчающим карнизом с сухарикамии и профилированной тягой над окнами 2 этажа декорирован медальонами с лепными женскими головками и гирляндами.
Его дружба с A.M. Горьким определила его политические взгляды. В 1905 году он издавал нелегальную большевистскую газету "Борьба", после чего был арестован. На паях с публицистом В.А. Крандиевским С.А.Скирмунт организовал издательство "Труд", а также книготорговую фирму под тем же названием. Через его книжные магазины распространялась в том числе и социал-демократическая литература. Подвал дома был оборудован под склад магазина.
В ноябре 1907 года приговоренному к трехлетнему заключению Скирмунту удалось выехать за границу, в Россию он возвратился лишь в 1926 году. В последние годы жизни С.А. Скирмунт плодотворно работал в Народном комиссариате труда, Госторге, Объединении научно-технических издательств.
Квартира в 7 комнат, располагавшаяся на 1 этаже дома, сдавалась внаем семье Крандиевских. В.А.Крандиевский издавал в Москве "Бюллетени литературы и жизни", его жена Анастасия Романовна была писательницей, дочь Наталья – талантливой поэтессой и женой писателя А.Н.Толстого, а младшая дочь Надежда - знаменитым скульптором.
В своих воспоминаниях об этом времени, событиях и знаменитых обитателях дома Н.В. Крандиевская-Толстая писала: "Гранатный переулок, патриархальный, тихий, весь в зелени. Узкие тротуары, поросшие травкой. Особняки, сады, заборы, за которыми благоухает сирень и липы Дом Скирмунта, в котором я росла и начинала жить, значился под номером 22 по Гранатному переулку и выходил на улицу одними только воротами на каменных столбах... От ворот аллея густых елок выводила на широкий двор, где обширно раскинулся двухэтажный купеческий особняк... Каменная терраса и балкон выходили на противоположную сторону, в сад. В доме Скирмунта часто проходили многолюдные собрания. .Он субсидировал многие литературные и культурно-просветительские начинания".
С момента вынужденного отъезда Скирмунта заграницу в 1 этаже размещалась контора Товарищества стекольных заводов бр. Н.И. Косыревых, остальные помещения главного дома (9 комнат), а также соседнего корпуса были заняты под жилье и нужды владельца. – дворянина П.П.Блинова.
В 1925 году дом был передан жилтовариществу, здесь проживало более 50 человек.
Несмотря на драматическую судьбу исторического окружения дома, его внутрипланировочная структура, сложившаяся к началу XX века, полностью сохранилась. Сохранились и элементы интерьера рубежа XIX-XX веков, включая лепные карнизы и розетки, росписи плафонов, паркет, изразцовые печи и ажурные лестничные ограждения. В 1992-93 гг. была проведена реставрация особняка.
Сегодня дом занимает частный детский сад.

В 1893 году Савва Морозов, знаменитый купец и промышленник, решил купить старую усадьбу Аксаковых на Спиридоновке и построить для своей любимой жены Зинаиды особняк. Молодой архитектор Фёдор Шехтель создал здесь настоящий средневековый замок, сделавший его знаменитым и модным архитектором, к которому выстроилась очередь из богатых заказчиков.
Технологии дополненной реальности в приложении «Узнай Москву» позволят вам узнать историю создания особняка непосредственно от цифрового двойника Саввы Тимофеевича Морозова. Вам надо всего лишь открыть карточку объекта в приложении, нажать кнопку “Дополненная реальность” и погрузиться в изучение истории знаменитого особняка.