Piastując te stanowiska Walpole stał się bliskim doradcą głównodowodzącego wojsk brytyjskich w wojnie o sukcesję hiszpańską, księcia Marlborough.
Walpole musiał zrezygnować ze stanowisk w 1710 r., gdy torysi (lord Oxford i lord Bolingbroke) przejęli je z woli zniechęconej do przedłużającej się wojny królowej Anny Stuart. Oxford próbował nakłonić Walpole’a do wstąpienia w szeregi partii torysów, ale bez powodzenia. Walpole pozostał wierny partii wigów i bronił jej lidera, lorda Godolphina, przed atakami w prasie i na forum parlamentu.
Torysi podjęli wówczas próbę zdyskredytowania Walpole’a w oczach opinii publicznej i w 1712 r. oskarżyli go o korupcję w czasie, gdy był sekretarzem ds. wojny. Walpole został przez Izbę Gmin postawiony w stan oskarżenia w trybie impeachment, a zdominowana przez torysów Izba Lordów wydała wyrok skazujący. Walpole został uwięziony w Tower of London na sześć miesięcy i usunięty z parlamentu. Opinia publiczna uznała go jednak za ofiarę politycznych intryg Oxforda i Bolingbroke’a, a okręg King’s Lynn ponownie powierzył mu mandat parlamentarny po wyborach 1713 r.