Inicjator powstania utworzonego w 1948 ośrodka badawczego zajmującego się problemami społecznymi, politycznymi i prawnymi dwóch odrębnych językowo belgijskich regionów, które powszechnie zaczęto określać mianem „Centrum Harmela”.

Od czerwca 1950 do kwietnia 1954 zajmował stanowisko ministra edukacji w rządach, którymi kierowali kolejno Jean Duvieusart, Joseph Pholien i Jean Van Houtte. W okresie urzędowania przeprowadził szereg reform w systemie oświaty, m.in. dotyczących kwestii subsydiowania placówek oświatowych i nadzoru nad nimi. Zmiany te zostały cofnięte przez Léo Collarda, który w 1954 z ramienia socjalistów przejął kierownictwo resortu edukacji. Trwający w latach 50. spór o kształt belgijskiego szkolnictwa, nazywany „wojną szkolną”, został ostatecznie zakończony porozumieniem z końca tej dekady; Pierre Harmel przyczynił się do powstania tekstu ugody. W czerwcu 1958 Gaston Eyskens powierzył mu funkcję ministra sprawiedliwości. W listopadzie tegoż roku przeszedł na stanowisko ministra kultury w kolejnym rządzie tegoż premiera. Zajmował je do września 1960, po czym do marca 1961 sprawował urząd ministra administracji publicznej w nowym gabinecie Gastona Eyskensa.