Baldwin II pozostał sam przeciw Janowi III Watatzesowi, który jednak następne lata poświęcił odzyskiwaniu terytoriów w Grecji.

Państwo trapiły tak poważne kłopoty finansowe, że aby otrzymać pożyczkę od kupców weneckich Baldwin musiał im oddać w zastaw swego syna Filipa. Kres Cesarstwa nastąpił zupełnie niespodziewanie. Latem 1261 roku wódz bizantyński Aleksy Strategopulos wysłany na czele nieznacznych sił do Tracji w celu pilnowania granicy bułgarskiej, przeciągając w pobliżu Konstantynopola dowiedział się od napotkanego Greka, że miasto jest faktycznie ogołocone z wojska. Rozejm zawarty w sierpniu 1260 roku jeszcze był w mocy i flota wenecka wraz z większą częścią garnizonu łacińskiego znajdowała się na jednej z wysp Morza Czarnego. Strategopulos zdecydował szybko i o świcie 25 lipca 1261 roku wdarł się wskazanym przejściem podziemnym do miasta i zaatakował szczupły garnizon łaciński. Powracającej flocie weneckiej nie pozwoliła wysadzić na brzeg wojska ludność miasta podpalając nadbrzeże. Cesarz wraz z najbliższą rodziną i świtą umknął na okręty weneckie.

Rodzina 19 kwietnia 1229 roku Baldwina zaręczono z Marią z Brienne, najstarszą córką Jana z Brienne i jego trzeciej żony Berengarii z Leonu. W chwili zaręczyn Maria miała cztery lata.