Wie Sprachmodelle funktionieren und was das für Ihre Entscheidungen heißt

Wenn Sie in Ihrem Unternehmen entscheiden, ob ein Sprachmodell Angebote vorformuliert, Kundenanfragen beantwortet oder Unterlagen auswertet, entscheiden Sie über ein Werkzeug mit einer bestimmten Funktionsweise. Aus dieser Funktionsweise folgt, wofür es taugt, wo es Fehler macht und wer dafür geradestehen muss. Was Begriffe wie Large Language Model, Token oder Halluzination bedeuten, steht in unserem KI-Glossar für Führungskräfte. Dieser Artikel erklärt den Mechanismus dahinter und was er für Ihre Entscheidungen heißt.

Ein Sprachmodell zeigt nicht verlässlich an, ob es etwas weiß oder ob es rät.

Diese Unterscheidung muss Ihr Ablauf treffen, nicht das Modell.

Wie ein Sprachmodell Text erzeugt

Ein Sprachmodell schreibt eine Antwort Stück für Stück: Es berechnet für jedes mögliche nächste Textstück eine Wahrscheinlichkeit, wählt eines aus und wiederholt das, bis die Antwort fertig ist. Wie diese Textstücke heißen und warum sie die Abrechnung bestimmen, erklärt das Glossar unter Womit Sie tatsächlich arbeiten. Für Ihre Entscheidungen zählt, wie die Wahrscheinlichkeiten zustande kommen. Was am Ende dasteht, bestimmen vier Schritte, und jeder hinterlässt eine Eigenschaft, mit der Sie rechnen müssen.

Vortraining an großen Textmengen

Das Modell lernt, in sehr vielen Texten das jeweils nächste Stück vorherzusagen. Dabei entsteht ein statistisches Bild davon, was in Texten zusammen steht. Was in den Trainingstexten vielfach vorkommt, gibt das Modell eher richtig wieder; was nur einmal oder gar nicht vorkommt, kann es nur ergänzen.

Nachtraining mit menschlichem Urteil

Damit aus einem Textfortsetzer ein Assistent wird, der Anweisungen befolgt, schreiben Menschen Musterantworten und bringen Antworten des Modells in eine Rangfolge, und das Modell wird auf die bevorzugten hin trainiert. Ouyang und Kollegen haben dieses Vorgehen im März 2022 für ein solches Modell beschrieben. Das Verfahren macht Antworten hilfreicher, richtet sie aber auch auf das aus, was Menschen gern lesen.

Ihre Eingabe als Kontext

Ihre Anweisung, der bisherige Gesprächsverlauf und beigefügte Dokumente bilden den Kontext der Antwort. Was das Modell über Ihren Fall weiß, steht entweder dort oder in dem, was es im Training gesehen hat. Auch was eine Websuche oder ein anderes Werkzeug nachlädt, landet in diesem Kontext; eine dritte Quelle gibt es nicht.

Auswahl des nächsten Stücks

Das Modell nimmt nicht zwingend das wahrscheinlichste Stück, sondern wählt mit einem einstellbaren Zufallsanteil. Dieselbe Frage kann deshalb zweimal unterschiedlich beantwortet werden.

Keiner dieser Schritte prüft beim Antworten, ob eine Aussage stimmt. Das Modell erzeugt eine passende Fortsetzung, und eine falsche Aussage kann ebenso gut passen wie eine richtige.

Warum Sprachmodelle Fehler machen

Sprachmodelle machen Fehler, weil ihr Training auf passende Fortsetzungen zielt und eine passende Fortsetzung nicht zuverlässig eine zutreffende ist. Die Forschung hat dafür mehrere Ursachen beschrieben, und jede betrifft eine andere Art von Aufgabe in Ihrem Betrieb.

Seltenes Wissen

Kalai, Nachum, Vempala und Zhang leiten in einer Arbeit vom September 2025 für Fakten ohne erkennbares Muster, etwa Geburtstage, eine Untergrenze her: Nach dem Vortraining ist zu erwarten, dass ein Modell bei solchen Fakten mindestens so oft falschliegt, wie sie in den Trainingsdaten nur ein einziges Mal vorkommen. Kommt jeder fünfte Geburtstag dort nur einmal vor, liegt es bei mindestens jedem fünften daneben. Für Sie heißt das: Angaben zu Ihren Produkten, Ihren Verträgen, einer Nischenvorschrift oder einem regionalen Lieferanten folgen keinem Muster, das sich aus anderen Texten erschließen ließe, und stehen in den Trainingsdaten höchstens vereinzelt oder gar nicht.

Raten wird belohnt

Dieselbe Arbeit führt das Raten darauf zurück, wie Modelle bewertet werden: Die gängigen Tests geben für eine richtig geratene Antwort einen Punkt und für „das weiß ich nicht“ keinen; Raten kostet dort also nichts. Ein Modell, das auf solche Tests hin optimiert wird, hat keinen Anreiz, Unsicherheit zuzugeben. Der sichere Ton einer Antwort sagt deshalb wenig darüber, wie sicher sie ist.

Zustimmung wird belohnt

Sharma und Kollegen haben im Oktober 2023 fünf damals führende Assistenten untersucht. In einem Datensatz menschlicher Bewertungen, wie er für dieses Nachtraining verwendet wird, wurde eine Antwort eher bevorzugt, wenn sie der Meinung des Fragenden entsprach. Die Assistenten nahmen auf Zweifel hin teils richtige Antworten zurück und richteten ihr Urteil über einen Text an der Meinung aus, die der Fragende dazu geäußert hatte.

Langer Kontext

Ein Dokument im Kontext heißt nicht, dass jede Stelle gleich gut genutzt wird. In den Versuchen von Liu und Kollegen von 2023 fanden die damals getesteten Modelle eine Information am besten, wenn sie am Anfang oder am Ende einer langen Eingabe stand, und deutlich schlechter in der Mitte, auch Modelle, die eigens für lange Eingaben gebaut waren.

Den Begriff für eine plausibel klingende, falsche Antwort, die Halluzination, führt das Glossar unter Was dabei schiefgehen kann. Wichtiger als der Name ist, dass sich die Ursachen unterscheiden: Gegen seltenes Wissen hilft eine beigefügte Quelle, gegen Zustimmung eine neutral gestellte Frage, gegen den langen Kontext eine kürzere Eingabe; keines davon beseitigt den Fehler, und gegen das Raten hilft nur die Prüfung.

Was das für den Einsatz heißt

Ein Sprachmodell passt zu Aufgaben, bei denen ein Fehler beim Lesen auffällt, und schlecht zu solchen, bei denen er erst spät oder bei Dritten auffällt. Die zweite Frage ist, woher das Wissen für die Antwort kommt: aus Ihrer Eingabe oder aus dem Training.

Aufgabe	Woher das Wissen kommt	Wer einen Fehler bemerkt	Einordnung
Entwurf einer Mail aus Ihren Stichpunkten	aus Ihrer Eingabe	Sie, beim Lesen vor dem Senden	geeignet
Gliederung oder Umformulierung eines eigenen Texts	aus Ihrer Eingabe	Sie, weil Sie den Inhalt kennen	geeignet
Auskunft zu Ihren Produkten ohne beigefügte Unterlagen	aus dem Training, also seltenes Wissen	erst der Kunde	ungeeignet
Auskunft zu einer Vorschrift ohne Quelle	aus dem Training	niemand, bis es darauf ankommt	nur mit beigefügtem Text der Vorschrift
Einschätzung, ob Ihr eigener Vorschlag gut ist	aus Ihrer Eingabe, gefärbt durch Ihre Meinung	niemand, weil die Antwort zustimmt	nur mit neutral gestellter Frage

Wer ein Modell auf Firmenwissen ansetzen will, gibt ihm die Unterlagen mit, statt sich auf sein Training zu verlassen; das Verfahren dahinter erklärt das Glossar unter Retrieval-Augmented Generation. Und wer eine Einschätzung braucht, fragt so, dass die eigene Meinung nicht in der Frage steht: nicht „Ist dieses Angebot überzeugend?“, sondern „Welche Einwände hätte ein Einkäufer gegen dieses Angebot?“.

Was das für die Prüfung heißt

Geprüft wird am Original, nicht am Modell. Die Rückfrage „Bist du sicher?“ ist kein Prüfschritt: Mit einer solchen Rückfrage haben Sharma und Kollegen die 2023 untersuchten Assistenten getestet, und sie nahmen daraufhin auch Antworten zurück, die richtig waren.

Was als Prüfung nicht trägt

Die Antwort klingt schlüssig und ist gut formuliert. Das Modell bestätigt auf Nachfrage, dass sie stimmt. Ein zweiter Durchlauf liefert dasselbe Ergebnis.

Was trägt

Jemand, der den Sachverhalt kennt, gleicht die Aussage mit der Quelle ab. Bei Zusammenfassungen wird stichprobenartig im Original nachgelesen, auch in der Mitte des Dokuments. Was nach außen geht, hat ein Mensch vorher gelesen.

Weil dieselbe Frage unterschiedlich beantwortet werden kann, sagt auch ein einzelner gelungener Versuch wenig darüber, ob eine Anwendung im Alltag trägt. Wie sich das an vielen echten Fällen messen lässt, beschreibt unser Artikel über Evals für KI-Anwendungen.

Wer die Verantwortung trägt

Verantwortung für ein Ergebnis kann nur ein Mensch übernehmen: Ein Sprachmodell trifft keine Aussage, für die es einstehen könnte, es berechnet eine Fortsetzung. Für ein Unternehmen heißt das: Für jeden Einsatz steht vorher fest, wer ein Ergebnis freigibt, bevor es einen Kunden, einen Vertrag oder eine Entscheidung erreicht.

Je mehr ein System selbst tut, desto weniger Ergebnisse sieht ein Mensch, bevor sie wirken. Welche Stufen es dabei gibt und was jede an Aufsicht verlangt, ordnet unser Artikel zu den Reifegraden von KI-Systemen ein.

Freigeben kann nur, wer weiß, wo ein Modell danebenliegt: bei Wissen, das in seinem Training kaum vorkam, bei Fragen, die eine Meinung vorgeben, und in der Mitte langer Dokumente.

Stand der Angaben

Die Ursachen für Fehler folgen Kalai, Nachum, Vempala und Zhang, „Why Language Models Hallucinate“ (4. September 2025), Sharma et al., „Towards Understanding Sycophancy in Language Models“ (20. Oktober 2023), und Liu et al., „Lost in the Middle“ (6. Juli 2023). Das Nachtraining mit menschlichem Urteil beschreiben Ouyang et al., „Training language models to follow instructions with human feedback“ (4. März 2022).

In unseren KI-Workshops für Mitarbeitende lernt Ihr Team die Grundlagen generativer KI und arbeitet dabei an den eigenen Aufgaben.