Gdy Herzl zmarł rok później, został pochowany w Wiedniu. Dopiero w roku 1949, 45 lat później, jego szczątki zostały przeniesione i pochowane w Jerozolimie. Miejsce na grób zostało wybrane przez specjalną komisję państwową. Do konkursu na projekt nagrobka zgłoszono 63 prace. Zwycięzcą okazał się Joseph Klarwein. Zaproponował on wykonanie grobu w postaci nieozdobionego bloku czarnego granitu z napisem „Herzl”. Od 1951 roku Wzgórze Herzla służy jako Cmentarz Narodowy Izraela.
Pomimo wyraźnego życzenia, dzieci Herzla nie zostały pochowane koło niego. Dopiero w 2006 roku sprowadzono ich szczątki do Izraela. Jego trzecia córka zginęła podczas Holocaustu i los jej zwłok jest nieznany. Jedyny wnuk Herzla spoczął na Wzgórzu w 2007 roku. Tutaj leżą także jego rodzice i siostra.
Krajowy Cywilny cmentarz Państwa Izrael Część cmentarza przeznaczona dla przywódców państwa i innych osób zasłużonych. Odbywa się tam co roku uroczystość Dnia Pamięci Poległych Żołnierzy (hebr. Yom Hazikaron).
Na północ od grobu Herzla jest miejsce przeznaczone dla przywódców światowego ruchu syjonistycznego, spoczywają tutaj m.in.: Dawid Wolffsohn, Nachum Sokołow, Simcha Dinic i Arje Dulzin. Dzieci Herzla – Paulina i syn Hans leżą niedaleko.