Według dawnej tradycji, w domu, gdzie urządzono klasztor mniejszy miały mieszkać babka i matka św. Jacka. Budynki klasztorne powstały w średniowieczu. Grupa dominikanek z obu klasztorów przeszła później do nowego, okazałego klasztoru, ufundowanego wraz z kościołem Matki Boskiej Śnieżnej w roku 1635. Klasztor i przytulisko funkcjonowały przy ul. Stolarskiej prawie do końca XVIII wieku. Po kasacie klasztoru, jego zabudowania zostały w l. 1817–1818 sprzedane osobom prywatnym przez władze Wolnego Miasta. Budowle uległy gruntownej przebudowie i unowocześnieniu w roku 1819. Pracami kierował Szczepan Humbert. Kolejne zmiany nastąpiły po wielkim pożarze miasta w 1850 roku. Dawny budynek klasztoru większego nabył na licytacji w 1863 r. Karol Budweiser. Nowy właściciel odrestaurował i ponownie gruntownie przebudował obiekt, nadając mu obecny kształt. O przeszłości gmachu przypomina jedynie biegnący przez trzy piętra wielki ryzalit oraz głębokie zamurowane wnęki, będące zapewne dawnymi krużgankami klasztornymiMarek Żukow-Karczewski, Nie istniejące budowle Krakowa.