Po stronie wschodniej wznosi się Góra Oliwna, a po stronie północno-wschodniej Góra Skopus.

Jerozolima ze wszystkich stron otoczona jest dolinami (Cedron, Hinnom i Tyropeon). Dolina Cedron rozciąga się na wschód od Starego Miasta, rozdzielając właściwe miasto od Góry Oliwnej. Wzdłuż południowej strony Starego Miasta znajduje się Dolina Hinnom, która jest właściwie stromym wąwozem. Natomiast Dolina Tyropeon rozpoczyna się po stronie północno-zachodniej i ciągnie się w kierunku południowo-wschodnim. Dzieli ona miasto na dwie części znajdujące się na dwóch wzgórzach: po stronie wschodniej Wzgórze Świątynne i po stronie zachodniej pozostałą część miasta. Współcześnie Dolina Tyropeon jest prawie niewidoczna, ponieważ przez ostatnie tysiąclecia nagromadziły się w niej wielkie ilości różnych szczątków i gruzów.

Jerozolima znajduje się w odległości 60 km na wschód od aglomeracji Tel Awiwu i wybrzeża Morza Śródziemnego, 32 km na zachód od Morza Martwego. Sąsiednimi miastami są: Betlejem i Bajt Dżala na południu, Abu Dis i Ma’ale Adummim na wschodzie, Mewasseret Cijjon na zachodzie, Ramallah i Giwat Ze’ew na północy.