Pod względem geologicznym góra zbudowana jest ze skał osadowych pochodzenia morskiego, głównie piaskowców, mułowców z otoczakami. Stoki góry pokrywa niewielka warstwa młodszych osadów z okresu zlodowaceń plejstoceńskich.
Ochrona przyrody
Cała góra znajduje się w obrębie wydzielonego obszaru objętego ochroną, a położona jest przy granicy tego obszaru o nazwie Obszar Chronionego Krajobrazu Jesioniki (czes. Chráněná krajinná oblast (CHKO) Jeseníky), a utworzonego w celu ochrony utworów skalnych, ziemnych i roślinnych oraz rzadkich gatunków zwierząt.
Grota Lurdzka thumb|240px|Miejsce pątnicze Grota Lurdzka na stoku góry Zámecký pahorek Na południowo-zachodnim stoku góry, pod skalnym nawisem, przy formacji skalnej o nazwie „Skała Józefa” (czes. Josefovy skály) znajduje się miejsce pątnicze „Grota Lurdzka” (czes. Lurdská jeskyně; niem. Lourdes Grotte). Miejsce to zostało założone na pamiątkę objawień w 1858 Matki Bożej we francuskiej miejscowości Lourdes św. Bernadecie Soubirous. Mieszkańcy pobliskiego Rejvízu w 50 lat od tych objawień zdecydowali, aby na stoku góry Zámecký pahorek zbudować miejsce przypominające grotę lurdzką. W 1909 odbyło się jej uroczyste otwarcie.