Ostateczny kształt nadał budynkowi architekt Giuseppe Piermarini, który pracował nad nim od roku 1774 na polecenie cesarzowej Marii Teresy. Zmieniono wówczas przeznaczenie budynku: znalazły się tam m.in. szkoły, obserwatorium astronomiczne, biblioteka i pinakoteka, która pierwotnie gromadziła odlewy, rysunki i ryciny wykorzystywane jako pomoce dydaktyczne przez studentów założonej w 1776 Accademia di Belle Arti (Akademii Sztuk Pięknych).
W 1803, za rządów napoleońskich, pinakoteka została udostępniona publiczności. W następnych latach zbiory muzeum znacząco się powiększały, m.in. o dzieła z likwidowanych kościołów Lombardii. Dzięki dekretowi wicekróla Eugeniusza de Beauharnais zakupiono m.in. słynny obraz Rafaela, Zaślubiny Marii.
thumb|Statua Napoleona dłuta Antonia Canovy na dziedzińcu pinakoteki Do rozwoju muzeum w początkowej fazie jego istnienia przyczynił się Andrea Appiani, malarz, portrecista Napoleona i komisarz ds. sztuk pięknych. Dzięki jego staraniom pinakoteka wzbogaciła swoją kolekcję m.in. o Kazanie św. Marka pędzla Gentilego i Giovanniego Bellinich, Odnalezienie ciała św. Marka Tintoretta czy arcydzieło Piero della Francesca, Pala Montefeltro (Madonna w otoczeniu świętych).