GPT steht für „Generative Pre-trained Transformer” und bezeichnet eine Familie von Sprachmodellen, die Text erzeugen, indem sie Wort für Wort die wahrscheinlichste Fortsetzung berechnen. GPT ist das Modell im Inneren – ChatGPT ist nur eines der Produkte, die darauf aufbauen.
Die drei Wörter hinter dem Kürzel
- Generative – das Modell erzeugt neuen Text, statt aus einer Datenbank passende Antworten herauszusuchen. Deshalb bekommst du auf dieselbe Frage nie zweimal exakt dieselbe Formulierung.
- Pre-trained – das Modell wurde vorab an gewaltigen Textmengen trainiert und bringt dieses Allgemeinwissen mit. Du musst ihm keine Grammatik und keine Fakten mehr beibringen; es ist beim ersten Öffnen bereits fertig.
- Transformer – die 2017 vorgestellte Architektur, auf der praktisch alle heutigen Sprachmodelle beruhen. Ihr Kern ist der Aufmerksamkeitsmechanismus: Das Modell gewichtet für jedes Wort, welche anderen Wörter im Text gerade wichtig sind. So erkennt es, dass sich „sie” im dritten Satz auf eine Person aus dem ersten bezieht.
Wie GPT Text erzeugt
Der Ablauf ist erstaunlich schlicht. Dein Text wird in Tokens zerlegt – Wortbausteine, die etwa drei bis vier Zeichen umfassen. Das Modell berechnet daraus eine Wahrscheinlichkeitsverteilung für den nächsten Token, wählt einen aus, hängt ihn an und beginnt von vorn. Wort für Wort, bis die Antwort fertig ist.
Aus diesem einen Prinzip folgt fast alles, was du im Alltag beobachtest:
- Das Modell schreibt flüssig, weil Sprachfluss genau das ist, was es optimiert.
- Es halluziniert, weil eine erfundene Quellenangabe statistisch genauso plausibel aussieht wie eine echte. Das Modell unterscheidet nicht zwischen wahr und falsch, sondern zwischen wahrscheinlich und unwahrscheinlich.
- Es rechnet unzuverlässig, weil Rechnen kein sprachliches Muster ist. Moderne Systeme umgehen das, indem sie für Berechnungen ein echtes Werkzeug aufrufen.
- Es kennt nur, was bis zu seinem Wissensstichtag im Training war – außer, es darf per Websuche nachschlagen.
Vom Rohmodell zum Assistenten
Ein frisch vortrainiertes GPT ist noch kein brauchbarer Gesprächspartner. Es setzt Text fort – auf eine Frage antwortet es womöglich mit zehn weiteren Fragen, weil im Trainingsmaterial oft Fragenlisten standen. Zwei zusätzliche Schritte machen daraus einen Assistenten:
- Instruction Tuning: Training an Beispielen aus Anweisung und guter Antwort. Das Modell lernt, dass eine Frage eine Antwort verlangt.
- Feinabstimmung durch menschliche Bewertung: Menschen bewerten Antworten, das Modell wird in Richtung der bevorzugten Ausgaben verschoben. Hier entstehen Hilfsbereitschaft, Tonfall und die Weigerung bei problematischen Anfragen.
Parameter, Kontextfenster, Modellgenerationen
Zwei Zahlen begegnen dir ständig. Parameter sind die trainierten Stellschrauben im Modell – grob ein Maß für die Kapazität, aber längst kein zuverlässiger Qualitätsindikator mehr: Ein kleineres, besser trainiertes Modell schlägt heute regelmäßig ein größeres älteres. Das Kontextfenster ist die Textmenge, die das Modell gleichzeitig verarbeiten kann, gemessen in Tokens. Es begrenzt, wie lange ein Gespräch werden darf und wie große Dokumente du übergeben kannst.
GPT ist nicht die einzige Familie
Der Name GPT gehört zu den Modellen von OpenAI. Daneben stehen konkurrierende Familien anderer Anbieter sowie frei verfügbare Modelle, die du selbst betreiben kannst – siehe Open-Source-KI. Technisch beruhen sie alle auf derselben Transformer-Grundlage; „GPT” wird im Alltag oft fälschlich als Gattungsbegriff für alle Sprachmodelle verwendet.
Für die Praxis ist wichtiger als der Name, wie du mit dem Modell sprichst. Dazu findest du das Wesentliche unter Prompt Engineering.