Budowa Palais Garnier miała miejsce w czasie wielkiej przebudowy Paryża w czasach II Cesarstwa. W 1858 cesarz Napoleon III Bonaparte osobiście wydał polecenie rozbiórki 12 tys. metrów kwadratowych średniowiecznej zabudowy miejskiej w celu zwolnienia miejsca pod gmach teatralny. Konkurs na projekt gmachu wygrał nieznany dotąd 35-letni Charles Garnier. Kamień węgielny został położony w 1861, rok później rozpoczęły się prace budowlane. W zamyśle twórców opera miała ukazywać bogactwo II Cesarstwa i stać się symbolem kulturalnego mecenatu Napoleona III.
Prace budowlane napotkały na liczne opóźnienia. Wybrane na budowę miejsce okazało się niefortunne – położone na grząskim gruncie i podziemnym jeziorze, z którego woda musiała być sztucznie wypompowywana przez osiem kolejnych miesięcyopis na polskiej stronie Paryża.. Wybuch wojny francusko-pruskiej dodatkowo opóźnił budowę. W czasie Komuny Paryskiej na terenie niedokończonego budynku wersalczycy rozstrzelali kilkanaście osób. W 1873 w prawie gotowym obiekcie wybuchł pożar. Ostatecznie gmach opery oddano do użytku w końcu 1874 i zainaugurowano w 1875 inscenizacją fragmentów opery Fromentala Halévy’ego Żydówka.