Natychmiast po zwolnieniu z milicji wstąpił do armii, a wkrótce zostały docenione jego umiejętności inżyniera i w 1862 roku został awansowany na porucznika oraz przeniesiony do sztabu gen. Irvina McDowella.
Głównym zadaniem Roeblinga podczas służby pod dowództwem gen. McDowella było planowanie i nadzorowanie budowy mostów dla celów wojskowych, m.in. stworzenie gotowych zestawów części i narzędzi do budowy mostów przez oficerów niemających doświadczenia w tej mierze. W ramach służby budował m.in. most we Fredericksburgu, był to pierwszy most, który był całkowicie jego własną konstrukcją. W lecie Roebling został przeniesiony do sztabu gen. Johna Pope’a, z którym brał udział w II bitwie nad Bull Run; był również obecny podczas bitwy pod Antietam i o South Mountain. W październiku Roeblingowi powierzono budowę mostu nad rzeką Shenandoah w Harpers Ferry, który pomimo opóźnień w dostawach materiału, udało mu się ukończyć w grudniu.