Obecny, późnobarokowy wygląd nadała obiektowi przebudowa z 1725 r., zrealizowana dla burmistrza Jeleniej Góry Johanna Martina Gottfrieda, tytułującego się „kupcem królewskim”. Poza funkcją mieszkalną obiekt pełnił również rolę manufaktury wybielającej najwyższej jakości len (bielarni). Tkaniny moczono w znajdujących się na parterze kadziach z roztworem potasu i mydła, następnie płukano, po czym rozkładano na łąkach do wyschnięcia na słońcu, aby wreszcie wyekspediować je za granicę (w tym do Hiszpanii, a stamtąd do innych krajów świata).
W roku 1741 posiadłość przeszła na Georga Friedricha Smitha, który poślubił wdowę po Gottfriedzie. Drogą mariażu pałac w połowie XIX wieku przeszedł w ręce Hessów, spokrewnionych z najpotężniejszymi patrycjuszowskimi rodami jeleniogórskimi. W tym czasie został poddany drobnym przebudowom i uzupełnieniom w wystroju wnętrza. W 1768 i 1777 roku Pakoszów odwiedził król Fryderyk Wielki, który zatwierdził przywileje zakładu i prawdopodobnie zatrzymał się na odpoczynek w pałacu. Wraz z upadkiem płóciennictwa skrzydło pałacu mieszczące „bielarnie” zostało zmienione na magazyn rolny.