W 1851 r. obiekt przeznaczono do rozbiórki. W 1852 r. kamienica została wyremontowana przez Leona Żakowskiego (budowniczy i współwłaściciel).
Kolejnym posiadaczem nieruchomości była m.in. rodzina Szancerów (1888–1910), w 1911 kamienica została sprzedana przez Helenę z Szancerów Szteinbergod Towarzystwu Opieki nad Zabytkami Przeszłości.
W 1912 r. budynek został odrestaurowany pod nadzorem Władysława Marconiego, Czesława Przybylskiego, Teofila Wiśniewskiego i Jarosława Wojciechowskiego. Odsłonięto polichromowane belki stropowe, malowany fryz podstropowy (druga połowa XVII wieku). W 1917 r. wykończono sale posiedzeń według projektu Zdzisława Kalinowskiego, Zygmunta Kamińskiego i Jarosława Wojciechowskiego. W 1928 r. Stanisław Kazimierz Ostrowski wykonał polichromię fasady.
W 1937 r. budynek przeszedł w ręce Gminy m.st. Warszawy. Zaplanowano w nim umieścić Muzeum Dawnej Warszawy. Prace adaptacyjne rozpoczęto w 1938 r. Zajęli się nimi: Jan Zachwatowicz (projekt wykonania prac konserwatorskich i adaptacyjnych); Stanisław Hempl (konstrukcja); Jan Rutkowski, Marian Słonecki (konserwacja wewnętrznych malowideł).