Дом Мильгаузена построили на рубеже XVIII и XIX веков на основе палат XVII века. Главное украшение этого строгого дома в стиле классицизма — ротонда, увенчанная круглым куполом и отделанная пилястрами (плоские декоративные элементы в виде выступа прямоугольного сечения). Ротонда кажется более высокой, чем основная часть здания, — дело в том, что из-за рельефа местности полуподвальный этаж под ней выше и даже имеет окна.
В начале XIX века домом владел Богдан Мильгаузен (1781 или 1782 — 1854), доктор медицины, заслуженный профессор медико-хирургической академии и действительный статский советник. В семье Мильгаузенов было пятеро детей — двое сыновей и три дочери. Сыновья профессора, Федор и Александр, кстати, учились в пансионе Леонтия Чермака вместе с будущим писателем Федором Достоевским. Пансион находился неподалеку, на Новой Басманной. Здание учебного заведения не сохранилось — на его месте в начале ХХ века построили доходный дом.
