Podczas wojny domowej w Palestynie w 1948 roku został pierwszym dowódcą Brygady Karmeli, którą nazwano od jego nazwiska. W przededniu wybuchu I wojny izraelsko-arabskiej w maju 1948 roku został mianowany dowódcą frontu północnego – został pierwszym szefem Północnego Dowództwa (1948–1949). Po wojnie, w 1950 roku odszedł do pracy cywilnej.
Kariera polityczna Od 1944 roku Mosze Karmel był członkiem lewicowej partii politycznej Mapai. Gdy w 1946 roku doszło do rozłamu w partii, Karmel był jednym z inicjatorów reaktywacji syjonistycznej partii lewicowej Achdut ha-Awoda. Po zakończeniu kariery wojskowej, Karmel zaangażował się w działalność polityczną. Równocześnie rozpoczął studia akademickie. Ukończył historię i filozofię na Uniwersytecie Hebrajskim w Jerozolimie, a następnie nauki polityczne w Paryżu.