Z racji tego, że Bogart pozował matce do rysunków, przylgnęła do niego opinia maminsynka, przez co często wdawał się w bójki z kolegami z klasy i słowne kłótnie z nauczycielami. Nie przejawiał żadnego talentu sportowego, a jego stopnie wahały się w zakresie dostatecznych. W ocenie Jeffreya Meyersa był on posępnym uczniem, który nie wykazywał zainteresowania zajęciami pozalekcyjnymi, często również wagarował. Po latach aktor wspominał: „Zawsze lubiłem we wszystkim namieszać i podważać autorytety. Chyba miałem to po rodzicach. Dogryzali wszystkim, nawet sobie”.
Poirytowany zachowaniem syna, Bogart senior przeniósł go do szkoły z internatem Phillips Academy w Andover w stanie Massachusetts, której sam był absolwentem; .. Przyszły aktor do nauki przykładał się przez pierwszy miesiąc, po czym ponownie przestał wykazywać aktywność na zajęciach. Na koniec semestru nie zaliczył angielskiego, francuskiego, geometrii i religii. Pod koniec wiosennego semestru spakował się i zdecydował o opuszczeniu placówki. Legenda uczelni przez wiele lat głosiła, że powodem usunięcia go ze szkoły była sytuacja, w której Bogart wrzucał winogrona do gabinetu dyrektora, jednak rzeczywistym powodem były słabe stopnie.