Pierwsi Walezjusze kontynuowali rozbudowę pałacu w pierwszej połowie XIV w., jednak w 1358 r. rodzina królewska porzuciła zbyt ponury Conciergerie i przeniosła się do Luwru, oddając obiekt kanclerzowi i Zgromadzeniu Notabli w czasie obrad. Ostatecznie zamieszkał tam concierge, czyli strażnik dworu królewskiego, a pałac stał się więzieniem, podlegającym jego jurysdykcji.
Swoją najbardziej znaną funkcję obiekt otrzymał w 1391 r. Stanowił więzienie ogólne, bez podziału na osadzonych politycznych i kryminalnych. Traktowanie więźniów było ściśle uzależnione od ich możliwości finansowych. Bogatsi opłacali lepsze cele (pojedyncze lub podwójne z łóżkiem, biurkiem oraz przyborami do pisania), średnio sytuowanych umieszczano w celach o nazwie pistoles z łóżkiem i skromnym stołem, natomiast biedni trzymani byli w salach zbiorowych lub w celach określanych jako oubliette (miejsce zapomnienia), w skrajnie niehigienicznych warunkach.
Liczne przebudowy obiektu sprawiły, że jest on dziś poważnie zmieniony w porównaniu z epoką średniowiecza. Zachowały się trzy wieże: Srebrna (dawniej miejsce przechowywania skarbu), Wieża Cezara oraz Wieża Tortur.