W Bundeslidze zadebiutował 31 stycznia 2009 w przegranym 2:0 meczu z VfB Stuttgart.
18 marca 2011 strzelił bramkę samobójczą w meczu przeciwko 1. FC Kaiserslautern, który ostatecznie Borussia przegrała u siebie 0:1. Po wrzutce z rzutu rożnego Bailly nieczysto trafił rękoma w piłkę, która wpadła do siatki. Został wypożyczony do Neuchâtel Xamax. W 2012 roku był wypożyczony do KRC Genk, a następnie odszedł do OH Leuven.
W 2015 roku został zawodnikiem szkockiego Celtiku, a w 2017 trafił do klubu Royal Excel Mouscron. W latach 2018–2020 grał w UR Namur.
Kariera reprezentacyjna Bailly ma za sobą dwa występy w reprezentacji Belgii do lat 21. Zadebiutował w niej 7 października 2006 roku w zremisowanym 1:1 meczu z Bułgarią. Następnie razem z seniorską reprezentacją brał udział w eliminacjach do Euro 2008, gdzie po Stijnie Stijnenie i Brianie Vandenbussche był trzecim bramkarzem „Czerwonych Diabłów”.
W późniejszym czasie Bailly znalazł się w kadrze na Igrzyska Olimpijskie w Pekinie. Belgowie w turnieju piłkarskim zajęli czwarte miejsce przegrywając w meczu o brązowy medal z Brazylią 0:3. Na igrzyskach gracz KRC Genk był podstawowym zawodnikiem swojego zespołu i bronił we wszystkich sześciu spotkaniach. W wygranym 3:2 ćwierćfinałowym pojedynku z Włochami w 68.