Compañía Argentina de Pesca 240px|thumb|Kościół w Grytviken, ok. 1915 roku
W Buenos Aires Larsen przedstawił lokalnym biznesmenom pomysł połowu wielorybów w Georgii Południowej i utworzenia firmy. Lokalni inwestorzy udzieli wsparcia Larsenowi, który wkrótce zarejestrował firmę wielorybniczą (tłum. „Argentyńska Kompania Rybacka”), a w listopadzie 1904 roku założył w Grytviken pierwszą stację wielorybniczą. Jeszcze w grudniu 1904 roku wyprodukowano w Grytviken pierwszy olej z tłuszczu wielorybiego. Powstanie stacji w Grytviken zapoczątkowało szybki rozwój wielorybnictwa w wodach Antarktydy, która zaczęła dostarczać 70% światowej produkcji oleju z tłuszczu wielorybiego. Do wybuchu I wojny światowej w Georgii Południowej powstało pięć innych stacji na wzór Grytviken.
Larsen był kierownikiem stacji w Grytviken do 1914 roku. Rozbudował fabrykę produkcji oleju, introdukował renifery i w 1913 roku wybudował dla wielorybników kościół. Następnie powrócił do Norwegii, gdzie w Romerike kupił dwa wielkie gospodarstwa rolne, jednak wobec niewielkich sukcesów w rolnictwie, powrócił do wielorybnictwa.