Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · G

GPT (Generative Pretrained Transformer)

Kurzantwort

GPT steht für Generative Pretrained Transformer, also einen vortrainierten Transformer, der Text erzeugt⁠12. Unter diesem Namen veröffentlicht OpenAI seit 2018 seine Sprachmodelle. ChatGPT ist die Chat-Anwendung, die auf Modellen dieser Reihe läuft⁠6.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Drei geschnitzte Holzklötze in verschiedenen Holztönen stehen nebeneinander auf einem Schreibtisch aus Nussbaum, warmes Licht einer Messinglampe
Drei Bausteine, drei Wörter: generativ, vortrainiert, Transformer. Bild: KI-generiert

Wer "GPT" sagt, meint im Alltag oft ChatGPT. Streng genommen bezeichnet die Abkürzung eine Bauart von Sprachmodellen und den Namen der Modellreihe, mit der OpenAI im Juni 2018 begonnen hat⁠1.

Die Abkürzung, Buchstabe für Buchstabe

G steht für generativ: Das Modell schreibt neuen Text, Wort für Wort.

P steht für pretrained, vortrainiert. OpenAI beschrieb 2018 ein Verfahren in zwei Stufen: Zuerst lernt das Modell an großen Mengen unbeschrifteter Texte, wie Sprache weitergeht. Danach wird es mit kleineren, beschrifteten Datensätzen für einzelne Aufgaben feinabgestimmt⁠1.

T steht für Transformer. So heißt die Netzarchitektur aus dem Aufsatz "Attention Is All You Need" vom Juni 2017, die ganz auf den Attention-Mechanismus setzt⁠2. GPT-Modelle verwenden davon den Teil, der Text fortlaufend erzeugt.

Wie die Reihe gewachsen ist

Am 14.02.2019 folgte GPT-2 mit 1,5 Milliarden Parametern, trainiert an rund 40 GB Internettext aus acht Millionen Webseiten⁠3. Das vollständige Modell gab der Anbieter erst schrittweise frei, weil er Missbrauch befürchtete. Zunächst erschien nur eine deutlich kleinere Fassung, im Mai 2019 folgte eine mit 345 Millionen Parametern⁠3.

GPT-3 folgte im Mai 2020 mit 175 Milliarden Parametern. Die Forschenden zeigten, dass ein so großes LLM neue Aufgaben schon aus wenigen Beispielen im Prompt lösen kann, ohne dafür weitertrainiert zu werden⁠4. Getestet wurde unter anderem Übersetzen, das Beantworten von Fragen und dreistelliges Rechnen. Von GPT-3 geschriebene Nachrichtenartikel konnten menschliche Testpersonen nur schwer von echten unterscheiden⁠4.

GPT-4 erschien am 15.03.2023 und verarbeitet neben Text auch Bilder als Eingabe. OpenAI beschreibt es als Transformer, der vorab auf die Vorhersage des nächsten Tokens trainiert wurde, nennt im Bericht aber weder Größe noch Rechenaufwand. Als Gründe gibt der Bericht den Wettbewerb und die Sicherheitsfragen so großer Modelle an⁠5.

Die Nummerierung läuft weiter, und inzwischen tragen die Modelle Zusatznamen. Am 22.11.2026 führt OpenAI in seiner Programmierschnittstelle GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra und GPT-6 Luna als Spitzenmodelle, jeweils mit einem Kontextfenster von 1,05 Millionen Token⁠7.

GPT, ChatGPT und GPTs

ChatGPT ging am 30.11.2022 an den Start. Das erste Modell dahinter war aus der Reihe GPT-3.5 abgeleitet und mit menschlichem Feedback auf Gespräche abgestimmt, einem Verfahren namens RLHF⁠6. Seitdem hat OpenAI die Modelle in der Anwendung mehrfach ausgetauscht. ChatGPT ist also das Produkt mit eigenen Tarifen und Funktionen, GPT die Technik darin.

Leicht zu verwechseln sind die GPTs mit kleinem s am Ende. Gemeint sind eigene Chatbot-Varianten, die Nutzer in ChatGPT mit Anweisungen und Dateien zusammenstellen. Sie laufen auf den vorhandenen Modellen von OpenAI. OpenAI stellt die GPTs zum 11.12.2026 ein und nennt Plugins und Projekte als Ersatz; für Arbeitsbereiche mit genehmigtem Aufschub gilt der 28.02.2027⁠9.

Das Grundprinzip, Vortraining eines Transformers auf die Vorhersage des nächsten Tokens, verwenden auch andere Anbieter. Meta beschreibt seine Llama-3-Modelle als dichte Transformer, die so vortrainiert wurden⁠8.

Häufige Fragen

Kann ich GPT-Modelle ohne ChatGPT nutzen?

Ja, über die Programmierschnittstelle von OpenAI. Dort wählst du das Modell selbst und zahlst nach verbrauchten Token statt mit einem Abo.

Hat GPT am Computer noch eine andere Bedeutung?

Ja. Bei Festplatten steht GPT für GUID Partition Table, ein Schema zum Aufteilen eines Datenträgers in Partitionen.

Quellen

Stand:

  1. OpenAI: Improving language understanding with unsupervised learning, Stand 11.06.2018, abgerufen am 22.11.2026. zurück
  2. arXiv (Vaswani u. a.): Attention Is All You Need, Stand 12.06.2017, abgerufen am 22.11.2026. zurück
  3. OpenAI: Better language models and their implications, Stand 14.02.2019, abgerufen am 22.11.2026. zurück
  4. arXiv (Brown u. a.): Language Models are Few-Shot Learners, Stand 28.05.2020, abgerufen am 22.11.2026. zurück
  5. arXiv (OpenAI): GPT-4 Technical Report, Stand 15.03.2023, abgerufen am 22.11.2026. zurück
  6. OpenAI: Introducing ChatGPT, Stand 30.11.2022, abgerufen am 22.11.2026. zurück
  7. OpenAI: Models (API-Dokumentation), abgerufen am 22.11.2026. zurück
  8. arXiv (Llama Team, Meta): The Llama 3 Herd of Models, Stand 31.07.2024, abgerufen am 22.11.2026. zurück
  9. OpenAI Help Center: Custom GPT retirement and migration FAQ, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog