Podczas wojny siedmioletniej, w 1760 roku gmach został zniszczony w wyniku dokonanego przez wojska pruskie bombardowania; jego odbudowę przeprowadzono w latach 1763–1764 pod kierownictwem dworskiego architekta Friedricha Augusta Krubsaciusa. Podczas odbudowy dokonano niewielkich zmian w wyglądzie wnętrz pałacu, m.in. został zmieniony wystrój północno-zachodniej klatki schodowej. W 1773 roku budynek ponownie zmienił właściciela – tym razem został nabyty przez Karola Krystiana, będącego wcześniej przez krótki okres księciem Kurlandii i Semigalii. Dzięki temu gmach zyskał nazwę Pałac Kurlandzki (niem. Kurländer Palais, a wcześniej także Kurländisches Palais). Po śmierci Karola Krystiana, w 1797 roku, jego córka Maria Krystyna sprzedała pałac za 40 000 talarów Księstwu Kurlandii i Semigalii, po czym rok później budynek przejął elektor, a od 1806 roku król Saksonii, Fryderyk August III.