W XII wieku na tutejszym półwyspie wzniesiono największy i najsłynniejszy zamek Zakonu Templariuszy. Nazywano go Château Pèlerin (łac. Castrum Pelegrinorum; pol. Zamek Templariuszy lub Zamek Pielgrzyma). Jego budowa rozpoczęła się w 1218 i zastąpił on starszą twierdzę Le Destroit, która znajdowała się nieco dalej od wybrzeża. Przy jego budowie pomógł finansowo rycerz Walter z Avesnies, uczestnik V wyprawy krzyżowej. W pracach budowlanych pomagało wielu pątników i członków zakonu krzyżackiego. Zamek Château Pèlerin został wzniesiony na niewielkim wzniesieniu górującym nad tutejszą zatoką. Główna cytadela była otoczona dwoma liniami murów obronnych. Mury zewnętrzne miały około 15 metrów wysokości i 6 metrów grubości. Były one wzmocnione trzema kwadratowymi wieżami o wysokości 44 metrów. Przed murem wykopano rów o głębokości 2 metrów. Mury wewnętrzne miały około 30 metrów wysokości i 12 metrów szerokości. Były one wzmocnione dwoma kwadratowymi wieżami o wysokości około 34 metrów. Cytadela posiadała trzy studnie ze świeżą wodą. Do miasta prowadziły cztery bramy wjazdowe, a do wnętrza cytadeli prowadziły dwie bramy. Na okolicznych wzgórzach wybudowano dodatkową linię fortów obronnych, z których najważniejszym był H. Qarta. Podczas oblężenia załoga zamku wynosiła 4000 żołnierzy.