Pod względem ideowym obie organizacje nawiązywały do faszyzmu włoskiego i hiszpańskiej falangi, nie kryły też fascynacji ruchem narodowo-socjalistycznym w Niemczech.
W lecie 1935 roku Celmiņš został skazany na trzy lata więzienia za działalność antypaństwową – po zwolnieniu tułał się po Europie (przebywał m.in. w Polsce, na Węgrzech i w Rumunii).
W grudniu 1939 roku zaciągnął się do międzynarodowego legionu „Sis”, który bronił Finlandii przed agresją radziecką – przez kilka miesięcy był adiutantem dowódcy „Sis-u”.
Po zakończeniu wojny przebywał w Rzeszy, po czerwcu 1941 roku wrócił na Łotwę, gdzie próbował kolaboracji z władzami niemieckimi celem odtworzenia niepodległości kraju. Gdy nadzieje na to się rozwiały, stanął na czele ruchu „Brīvā Latvija” (1943–1944), który domagał się restytucji wolnej Łotwy, niezależnej od Niemiec i ZSRR.
Na wiosnę 1944 roku został aresztowany przez Niemców i osadzony w obozie we Flossenbürgu, a później w Dachau.
Po II wojnie światowej krótko przebywał we Włoszech, by w 1949 roku znaleźć się w USA. Osiadł w stanie Teksas, gdzie pracował jako instruktor wojskowy na uniwersytecie w Syracuse, później zarabiając na chleb jako bibliotekarz w Trinity College w San Antonio.