Pierwszymi więźniami statku byli przymusowi polscy robotnicy z miast przyłączonych do terenów III Rzeszy, m.in. z Torunia, Łodzi i Poznania. Z czasem trafiały tam również osoby z: ZSRR, Czech, Francji, więźniem był też jeden Hiszpan. Pierwszą ofiarą na SS „Bremerhaven” był Stanisław Wasilewski ze Zgierza, który nie zrozumiał wydanego mu w języku niemieckim rozkazu. Wyskoczył za burtę statku po tym, jak zaczął być bity. Wachmani widząc to, zaczęli strzelać do mężczyzny, który kilkakrotnie trafiony utonął.
Jesienią 1943 roku obóz na statku został zlikwidowany, czego powodem miało być zapotrzebowanie Kriegsmarine na statki. Załoga obozu tj. komendant Oskar Pust, jego zastępca Walter Schaffenberg, wachman Richard Raschke i reszta została przydzielona do innych obozów lub przeniesiona na front wschodni. Statek został poddany deratyzacji, fumigacji i dezynfekcji, a następnie oddany został do stoczni remontowej w Szczecinie, gdzie został przystosowywany do żeglugi.