Na potrzeby obronne zamek nie był wystarczająco duży – nie przetrwałby oblężenia. O innym niż obronne przeznaczeniu zamku świadczy perfekcyjna geometria budowli oraz znaczna odległość od jakichkolwiek miejsc czy szlaków strategicznych. Niektórzy autorzy podają, że zamek został zbudowany dla cesarza jako zamek myśliwski do polowań z sokołami. Z zewnątrz Castel del Monte prezentuje się jako forteca – ma masywne mury zewnętrzne, wieże w narożnikach, szczeliny strzelnicowe i bramy z bronami, lecz wewnątrz zamek miał wszelkie wygody domku myśliwskiego.
Po upadku Hohenstaufów Karol I Andegaweński (1226–1285) uwięził na zamku syna Manfreda (1232–1266) i zwolenników dworu niemieckiego. Za panowania królowej Neapolu Joanny I (1326–1382) zamek wszedł w poczet dóbr królewskich. Pod panowaniem hiszpańskim na początku XVI w. stał się lennem generała Gonzalo Fernándeza de Córdoba (1453–1515). W 1528 roku został zbombardowany przez wicehrabiego Lautrec Odeta de Foix (1485–1528), co spowodowało zniszczenia w jego murach zewnętrznych. W XVII w. zamek pozostawał niezamieszkany i nie miał już wyposażenia wewnętrznego. Marmurowe elementy wykończeniowe zostały zabrane przez Burbonów i wykorzystane w parku przy ich pałacu królewskim w Casercie.