В этом квартале в первой половине XVII в. жили в основном иностранцы, и среди них – ганзейский купец Д.Н. Рутц, который в 1630-40-е годы начал возводить на своем дворе каменные палаты. Однако почти сразу палаты были значительно расширены и приспособлены для Датского подворья, возможно также и как резиденции датского принца Вальдемара. В 1652 году Д.Н. Рутц был вынужден из-за многочисленных долгов покинуть свой дом, который перешел в государственную казну – Приказ Большого Прихода, где длительное время дом находился в пустующем виде и пришел в упадок. В 1702 году Петр I поместил в этом здании школу пастора Э. Глюка. После сильного пожара 1707 года, когда выгорели все крыши и деревянные надстройки здания, Петр I перевел школу в другое место и пожаловал усадьбу одному из своих сподвижников – C.Л. Рагузинскому, сербу из Рагузы (нынешнего города Дубровника). В 1764 году владение перешло к князю М.Д. Кантемиру. Оно включило центральные палаты, дополненные новым третьим этажом, и крылья по сторонам двора с домовой церковью в западном крыле.
В результате перестройки 1825–1829 года здание приобрело отделку в стиле ампир. С 1889 по 1912 гг. в здании Маросейского дома, помимо жилых квартир, находились Елисаветинская женская гимназия, рукодельное училище, аптека, типография с магазином.
В период с 2018 года по 2021 год проводились работы по реставрации и приспособлению здания для современного использования.
В настоящее располагается Центр современного искусства AZ/ART.