W demokratycznych wyborach parlamentarnych w 1977 uzyskał mandat posła do konstytuanty. W 1979 został wybrany do Kongresu Deputowanych. W 1978 podpisał porozumienie, na mocy którego do socjalistów przyłączyła się Partido Socialista Popular Enrique Tierno Galvána. Od tegoż roku do 1999 był wiceprzewodniczącym Międzynarodówki Socjalistycznej. Po porażce PSOE w 1979 ustąpił z funkcji sekretarza generalnego, jednak jeszcze w tym samym roku ponownie powierzono mu tę funkcję. 23 lutego 1981, w trakcie nieudanego zamachu stanu (23-F), znalazł się w kilkuosobowej grupie oddzielonej od pozostałych parlamentarzystów; uwolniony został następnego dnia.
Premier Hiszpanii Kierowana przez niego PSOE zwyciężyła w wyborach w 1982. Otrzymała ponad 48% głosów i bezwzględną większość w parlamencie (202 deputowanych). W grudniu 1982 niższa izba Kortezów Generalnych zatwierdziła go na urzędzie premiera. Stanowisko wicepremiera objął jego najbliższy współpracownik polityczny Alfonso Guerra. Socjaliści zwyciężali w trzech kolejnych wyborach, co pozwoliło ich liderowi na tworzenie kolejnych gabinetów. W 1986 PSOE utrzymała większość bezwzględną. W 1989 partia zdobyła równo połowę mandatów. W 1993 czwarty rząd Felipe Gonzáleza funkcjonował przy wsparciu partii regionalnych z Katalonii i Kraju Basków.