Dworzec szybko okazał się zbyt mały na potrzeby rosnącego ruchu pasażerskiego. Pod koniec XIX wieku podjęto decyzję o budowie nowego dworca. Sporządzenie projektu zlecono Józefowi Hussowi. Nowy dworzec miał być wzorowany na dworcu Kolei Magdebursko-Halbersztadzkiej w Berlinie. Miał mieć neorenesansową elewację przypominającą łuk triumfalny. W środku miała znajdować się wielka hala z peronami nakryta przeszklonym, walcowatym dachem. Fasada miała być zwrócona w stronę ulicy Marszałkowskiej, a nie jak dotychczas w stronę Alei Jerozolimskich. Projekt nie został zaakceptowany, gdyż nie przewidywał połączenia z szerokimi torami towarzystw kolejowych z prawego brzegu Wisły. Władze zażądały również zmiany elewacji z neorenesansowej na bizantyjską, na co nie zgodził się projektant.
Ostatecznie w 1900 dobudowano od strony ulicy Chmielnej niewielki eklektyczny dworzec przyjazdowy, nazwany „Nową Poczekalnią”. Nowy budynek dworca miał 62 m długości i 13,5 m szerokości. Stary budynek dworca służył głównie osobom wyjeżdżającym.
Po zajęciu miasta przez wojska niemieckie w sierpniu 1915 nazwa dworca została zmieniona na Haupt-Bahnhof Warschau (Dworzec Główny Warszawa), a we wrześniu 1915 na Wiener Bahnhof (Dworzec Wiedeński).