Podczas gdy Alkazar spełniał głównie funkcje administracyjne jako siedziba rządu, rad oraz aparatu biurokratycznego, Buen Retiro był przeznaczony na rozrywki i przyjemności królewskie. Odbywały się tutaj widowiska teatralne, inscenizowane bitwy morskie i inne potyczki wodne na obszernym sztucznym jeziorze oraz walki byków.
Gdy do Madrytu przybył pierwszy Burbon, Filip V (1701 r.), osiadł w Alcázarze, jednak wkrótce przeniósł się do Palacio del Buen Retiro, który swymi ogrodami być może przypominał mu miejsca jego dzieciństwa: pałace w Wersalu i Marly. Pałac jednak nie przypominał architektonicznie pałaców francuskich, stąd król zawezwał głównego architekta Wersalu, Roberta de Cotte, do przebudowy. Ten orzekł, że lepiej byłoby zbudować pałac ex novo. Przedstawił dwa projekty, lecz żaden z nich nie doczekał się realizacji z powodu pustego skarbca po wojnie o sukcesję oraz przez przybycie włoskiej żony króla, Elżbiety Farnese, co ograniczyło wpływy francuskie na dworze hiszpańskim. Para królewska zadowoliła się odnowieniem wnętrz. Prace remontowe prowadzono wtedy także w Alcazarze, więc część kolekcji królewskiej przeniesiono do Buen Retiro, dzięki czemu ocalała ona z pożaru Alcazaru w 1734 r. Pożar ten stał się przyczyną ustanowienia Buen Retiro główną siedzibą królewską.