Postęp w rozwoju modelu GPT-3 pozwolił na przełom w postaci nabycia przez model umiejętności wykonywania prostych zadań arytmetycznych, w tym tworzenia fragmentów kodu i wykonywania zadań wymagających pewnego poziomu inteligencji. Generacja GPT-4 została udostępniona 14 marca 2023 roku; model charakteryzuje się o 82% niższym prawdopodobieństwem udzielenia odpowiedzi na żądania użytkowników dotyczących treści niedozwolonych oraz o 40% większym prawdopodobieństwem przedstawienia odpowiedzi zgodnych z faktami w porównaniu z modelem GPT-3.5.
Model GPT-5 został wydany 7 sierpnia 2025.
Modele fundamentalne Postęp i złożoność kolejnych wersji modelu fundamentalnego obrazuje tabela:
Model Architektura Parametry Warstwy dekodera Rozmiar kontekstu tokenów Warstwa ukryta Rozmiar partiiKoszt treningu GPT-1 12-warstw, 12-częściowy dekoder transformera (bez koderów), wraz z funkcją softmax 117 milionów 12 512 768 6430 dni na 8 kartach P600, 1 petaFLOPS-dni GPT-2 GPT-1, ze zmodyfikowaną normalizacją 1,5 miliarda 48 1024 1600 512„dziesiątki petaFLOPS-dni”, lub operacji zmiennoprzecinkowych GPT-3 GPT-2, z usprawnieniami zwiększającymi skalowanie 175 miliardów 96 2048 12 288 3,2 mln„3640 petaFLOPS-dni”, lub op. zmiennoprz.