Po włamaniu do siedziby Partii Demokratycznej 17 czerwca 1972 uczestniczył w próbach zatuszowania tej sprawy i stosowaniu innych „nieczystych zagrywek” podczas kampanii prezydenckiej w 1972. Po wybuchu afery Watergate śledczy domagali się udostępnienia taśm z nagraniami rozmów prowadzonych przez Nixona w Gabinecie Owalnym. Biały Dom udostępnił niechętnie część z nich. Na jednej z taśm odkryto tajemniczą 18,5-minutową przerwę. Gdy Sąd Najwyższy nakazał udostępnienie śledczym całości nagrań, okazało się, że chodziło o nagranie rozmowy prezydenta z Haldemanem. Rozmowa ta stanowiła rozstrzygający dowód, że prezydent Nixon osobiście uczestniczył w próbach tuszowania afery.
30 kwietnia 1973 Haldeman zrezygnował z funkcji i powrócił do Kalifornii. W 1975 został uznany za winnego spisku, krzywoprzysięstwa i utrudniania postępowania sądowego w związku ze swoją rolą w aferze i skazany na karę od 2,5 do 8 lat więzienia, z których faktycznie odsiedział 18 miesięcy. Zwolniono go w 1978.
Po wyjściu z więzienia opublikował autobiografię The Ends of Power (1978).