U-3 został wprowadzony do służby w Austro-Węgierskiej Marynarce Wojennej we wrześniu 1909 roku i do rozpoczęcia I wojny światowej służył jako jednostka szkolna, czasami wykonując nawet 10 rejsów miesięcznie. Na początku wojny był jednym z czterech sprawnych austro-węgierskich okrętów podwodnych. Przez większość pierwszego roku wojny U-3 prowadził działania rozpoznawcze z Kotoru. 12 sierpnia 1915 roku przeprowadził nieudany atak torpedowy na włoski transportowiec i po wynurzeniu się następnego dnia został zatopiony przez francuski niszczyciel. Zginął dowódca okrętu i sześciu marynarzy; pozostałych 14 członków załogi zostało wziętych do niewoli.
Projekt i budowa U-3 został zbudowany w ramach projektu K.u.K. Kriegsmarine, przeprowadzenia badań porównawczych konstrukcji zagranicznych okrętów podwodnych. W konkursie wzięły udział projekty Simona Lake'a, Germaniawerft i Johna Hollanda. Dowództwo marynarki austro-węgierskiej zamówiło budowę U-3 (oraz jego bliźniaczego okrętu U-4) w stoczni Germaniawerft w Kilonii w 1906 roku. Stępka pod okręt została położona 12 marca 1907 w doku nr 135Baumgartner & Sieche The Austro-Hungarian Submarine Force (tłumaczenie na język angielski z książki Die Schiffe der k.(u.)k. Kriegsmarine im Bild Erwin Sieche) [dostęp 16 marca 2017], a wodowanie odbyło się 20 sierpnia 1908 roku.