Kariera w Waszyngtonie Po wyborczej wygranej w 2004 roku, prezydent Bush zaproponował Johannsowi stanowisko sekretarza ds. rolnictwa w nowo tworzonym gabinecie. Był już czwartym przedstawicielem swojego, bardzo rolniczego, stanu na tym stanowisku. Funkcję sekretarza objął 21 stycznia 2005 roku, tuż po drugiej inauguracji Busha. Piastował ją przez ponad dwa i pół roku. Zrezygnował 20 września 2007 roku. Wkrótce potem ogłosił, że zamierza wystartować do Senatu w wyborach w 2008 roku. Dotychczasowy senator Chuck Hagel nie ubiegał się o reelekcję. Mimo iż wybory roku 2008 zakończyły się olbrzymim sukcesem Demokratów, Johanns - popularny były gubernator nie miał większych problemów w konserwatywnej Nebrasce. Wygrał 58%-40%. Był jednym z dwóch nowych republikańskich Senatorów (obok Jima Rischa z Idaho), wybranych w 2008 roku.
Jako senator głosował w sposób typowy dla swojej przynależności partyjnej: sprzeciwiał się reformie zdrowotnej prezydenta Obamy ("Obamacare"), gorąco popierał budowę Keystone Pipeline - mającego przebiegać przez Nebraskę rurociągu łączącego Kanadę z Teksasem. Choć bez wątpienia jest konserwatystą, nigdy nie był zaliczany do TEA Party, zawsze do bardziej umiarkowanej, "establishmentowej" frakcji Partii Republikańskiej.