Sam obóz był również (zwłaszcza na początku) umieszczony pod ziemią. Baraki były umiejscowione w galeriach podziemnych. W styczniu 1944 prace były na tyle zaawansowane, że było możliwe rozpoczęcie prac nad konstrukcją rakiet. Wówczas wymieniono wszystkich więźniów przemęczonych i wyczerpanych na nowych. Więźniów niezdolnych do pracy, w tym setki Polaków, odesłano celem wyniszczenia, głównie bezpośrednio, lub pośrednio poprzez KL Buchenwald, do KL Lublin. Pozostałych skierowano do okolicznych podobozów, które pracowały nad konstrukcją innych podziemnych fabryk niemieckich.
Niemcy planowali przeniesienie pod ziemię dużej części swych fabryk zbrojeniowych. Wiele firm przeprowadzało się specjalnie w pobliże Nordhausen. Pod koniec 1944 transporty ewakuacyjne (marsze śmierci) z Auschwitz-Birkenau i innych obozów dotarły do Mittelbau-Dora. Jednak byli to więźniowie zbyt wyczerpani, by pracować w tych fatalnych warunkach: ginęli bardzo szybko z przemęczenia. W kwietniu 1945 obóz był ewakuowany, pociągami i piechotą. W ten sposób większość obozu głównego i podobozów została zupełnie opróżniona z więźniów.