Adenauer odrzucił ten warunek.

Okres III Rzeszy Adenauer uważał, że na podstawie wyników wyborów naziści powinni wejść w skład rządów Prus i Rzeszy.

Negatywnie oceniał nazizm. W 1932 roku jako prezydent Pruskiej Rady Stanu przeciwstawił się rozwiązaniu parlamentu krajowego Prus. W lutym 1933 odmówił powitania na lotnisku przybywającego do Kolonii Adolfa Hitlera. Zakazał wieszania swastyk na budynkach należących do administracji miasta, nakazał również zdjąć z mostu wywieszone tam sztandary nazistowskie. Wywołało to wściekłość nazistów. W dniu 4 kwietnia 1933 roku został oficjalnie odwołany z funkcji burmistrza. Natomiast jego konta bankowe zostały zamrożone. Wytoczono mu proces o korupcję, nie znaleziono jednak żadnych dowodów, sprawa została umorzona w 1934 roku.

Na krótki czas schronił się w opactwie Maria Laach w górach Eifel, gdzie był gościem kolegi szkolnego, opata Herwegena. W 1934 r. wprowadził się z rodziną do domu w Neubabelsbergu, na przedmieściach Poczdamu. 30 czerwca 1934 został aresztowany, w związku z puczem Röhma, jednak zwolniono go po 2 dniach. W następnych latach często zmieniał miejsce pobytu i ukrywał się okazjonalnie u przyjaciół. W 1937 r.