Od 1933, gdy poznał Heinricha Himmlera i stał się jego protegowanym, kariera Pohla nabrała rozpędu. W 1934 otrzymał stopień SS-Standartenführera i został szefem Urzędu Administracyjnego SS, który zajmował się między innymi obozami koncentracyjnymi. W 1935 utworzył Główny Inspektorat Obozów Koncentracyjnych (jego szefami byli kolejno: Theodor Eicke i Richard Glücks). W 1939 został szefem Urzędu Gospodarczo-Administracyjnego SS oraz Urzędu Budżetu Budownictwa, które zostały połączone 31 stycznia 1942 i utworzyły WVHA. Na jego czele stanął Pohl, który za pomocą WVHA kierował całą administracją SS. Urząd dzielił się na 5 zespołów (zespół D był inspektoratem obozów koncentracyjnych).

Udział w zbrodniach popełnionych w hitlerowskich obozach koncentracyjnych WVHA zajmował się budową i zaopatrzeniem obozów oraz eksploatacją niewolniczej pracy więźniów. Pohl był zwolennikiem eksterminacji przez pracę, stąd często spierał się z gestapo, pragnącym natychmiastowej likwidacji wszystkich „niepotrzebnych elementów”. Nawet dla zdrowego człowieka codzienna kilkunastogodzinna praca, bez potrzebnych urządzeń i w atmosferze wszechobecnego terroru esesmanów i kapo, byłaby pracą ponad siły. Często nie miała ona żadnego sensu, wykonywana była tylko w celu zamęczenia więźniów.