Po nieudanym puczu monachijskim w listopadzie 1923 oraz delegalizacji NSDAP, Ernst działał w szeregu różnych radykalnych organizacji ultra-prawicowych. Pomiędzy 1924 a 1926 należał do założonej przez Ernsta Röhma formacji Frontbann, do której przeszło wielu członków zdelegalizowanych oddziałów SA oraz do organizacji „Ulrich von Hutten” utworzonej przez dowódcę Freikorps Gerharda Roßbacha. W okresie tym Ernst popadł również w konflikty z prawem – został oskarżony o spiskowanie, naruszenie spokoju publicznego i pomoc w uwolnieniu więźniów.

Ernst pracował zawodowo, często zmieniając pracę – był zatrudniony m.in. jako pracownik banku, sprzedawca, sekretarz, kelner czy paź hotelowy w Berlinie, Moguncji i Gdańsku.

W nowo założonej NSDAP Ernst należał do przywódców SA w Monachium (od 1927 do maja 1931).

Lata późniejsze (1929–34) thumb|Karl Ernst przemawiający na festynie sportowym SA w Berlinie-Köpenick, 1932

Pomiędzy 1919 a 1931 Ernst studiował przez trzy semestry w Wyższej Szkole Polityki w Berlinie (niem. Deutsche Hochschule für Politik).