Evals: woran Sie erkennen, ob Ihre KI-Anwendung besser wird

Wenn Ihr Betrieb eine KI-Anwendung einführt, einen Kundenchat oder einen Assistenten für interne Dokumente, stellt sich nach der ersten Begeisterung eine einfache Frage: Ist das gut genug, und wird es besser? Ohne System beantwortet sie jeder nach Gefühl. Ein Eval-System beantwortet sie mit Belegen.

Eine Evaluation soll nicht eine schöne Zahl liefern, sondern zeigen, was schiefgeht.

Erst wer seine Fehler kennt, kann sie gezielt beheben und nachweisen, dass sie behoben bleiben.

Was ein Eval-System ist

Eval-System

Eine Sammlung von Prüfungen, die eine KI-Anwendung regelmäßig und auf dieselbe Weise durchläuft. Jede Prüfung steht für eine Fehlerart, die Ihnen wichtig ist: eine falsche Auskunft, eine fehlende Quellenangabe, ein unpassender Ton. Läuft die Anwendung nach jeder Änderung durch dieselben Prüfungen, sehen Sie, ob sie besser geworden ist oder ob ein behobener Fehler zurückkommt.

Die ersten beiden Phasen folgen dem Vorgehen, das Hamel Husain und Shreya Shankar am 9. September 2025 in „Building eval systems that improve your AI product“ beschrieben haben. Jede Phase verlangt etwas von Ihrem Betrieb.

Fehler an echten Fällen finden

Am Anfang steht keine Kennzahl, sondern eine Stichprobe echter Anfragen und Antworten; die Autoren empfehlen etwa hundert. Eine fachkundige Person geht sie durch, notiert in eigenen Worten, was nicht stimmt, und urteilt je Fall nur: bestanden oder nicht bestanden. Für Sie heißt das: Diese Person braucht Zeit, und die gehört in die Projektplanung.

Für jede wichtige Fehlerart eine Prüfung bauen

Was sich eindeutig prüfen lässt, prüft ein einfacher Test: Enthält die Antwort eine Quellenangabe, nennt sie die Vorschrift, die für diesen Fall hinterlegt ist? Was Auslegung braucht, etwa ob eine Antwort vollständig ist, bewertet ein zweites Sprachmodell als Prüfer, das vorher an den Urteilen Ihrer fachkundigen Person geeicht wird. Gemessen wird getrennt, wie viele echte Fehler es erkennt und wie viele gute Antworten es durchlässt; welcher Irrtum schwerer wiegt, hängt von der Anwendung ab.

Bei jeder Änderung prüfen

Damit die Prüfungen etwas nützen, laufen sie bei jeder neuen Modellversion und jeder geänderten Anweisung, bevor die Änderung live geht. Neue Fehler aus dem Betrieb wandern in die Stichprobe. So wird ein Modellwechsel, den der Anbieter ankündigt, von einem Risiko zu einer prüfbaren Änderung.

Worauf es dabei ankommt

Entscheidend ist zuerst, wer urteilt.

Ein Mensch mit Fachwissen

Die Prüfungen sind nur so gut wie das Urteil, an dem sie geeicht werden. Husain und Shankar raten zu einer einzelnen fachkundigen Person, damit die Maßstäbe einheitlich bleiben. Bei einer beauftragten Anwendung gehört diese Rolle in Ihren Betrieb: Der Anbieter kennt Ihre Produkte und Verträge nicht so gut wie Sie.

Eigene Kriterien statt Standardwerte

Fertige Messgrößen wie „Halluzinationsrate“ oder „Hilfsbereitschaft“ sind bequem, aber nicht auf das zugeschnitten, was in Ihrem Fall schadet. Was eine falsche Antwort ist, hängt an Ihren Produkten und Verträgen.

Bestanden oder nicht bestanden

Ein Urteil mit zwei Möglichkeiten zwingt zu einer Entscheidung und lässt sich auswerten. Ob eine Antwort auf einer Skala eine Drei oder eine Vier verdient, beurteilt jeder anders.

Was sich je nach Anwendung unterscheidet

Unterschiedlich ist, was als Einheit geprüft wird: beim Kundenchat das ganze Gespräch, beim Assistenten mit Firmenwissen Suche und Antwort getrennt, beim Agenten jeder einzelne Schritt.

Kundenchat

Geprüft wird, ob das Anliegen am Ende gelöst ist, und erst dann, an welcher Stelle es schiefging. Für die Abnahme zählt deshalb der Anteil gelöster Anliegen, nicht die Note einzelner Antworten.

Assistent mit Firmenwissen

Schlägt ein Assistent in Ihren Dokumenten nach (Retrieval-Augmented Generation, kurz RAG), werden zwei Dinge getrennt geprüft: ob er die richtigen Stellen findet und ob er sie richtig wiedergibt. Sonst wissen Sie nicht, ob ein Fehler beim Nachschlagen entsteht oder beim Formulieren der Antwort.

KI-Agent

Bei einem System, das selbstständig mehrere Schritte ausführt, interessiert, an welchem Übergang es scheitert. Eine Übersicht, die zeigt, nach welchem gelungenen Schritt welcher nächste scheitert, macht die Schwachstelle sichtbar; eine Gesamtquote allein sagt nicht, wo nachzubessern ist.

Was Sie von einem Anbieter verlangen sollten

Von einem Anbieter dürfen Sie drei Dinge erwarten: eine Fehleranalyse an Ihren echten Fällen, eine Prüferrolle für jemanden aus Ihrem Haus und die Liste der Prüfungen, die jede Änderung durchläuft. Ohne sie kaufen Sie ein Versprechen.

Woran ein belastbares Angebot zu erkennen ist

Der Anbieter beginnt mit einer Fehleranalyse an Ihren echten Fällen, bindet eine Person aus Ihrem Haus als Prüferin ein und zeigt Ihnen, welche Prüfungen jede Änderung durchläuft.

Woran nicht

Qualität wird mit einer einzelnen Zahl oder einem Prozentwert aus einem fremden Test belegt, und auf die Frage, was nach einem Modellwechsel geprüft wird, gibt es keine konkrete Antwort.

Ein Eval-System ist kein Zusatz für große Projekte. Hundert Fälle, durchgesehen von der richtigen Person aus der Fachabteilung, reichen für ein erstes belastbares Bild.

Stand der Angaben

Die Darstellung der ersten beiden Phasen folgt dem Beitrag von Husain und Shankar vom 9. September 2025.

Ob eine bestehende Anwendung hält, was sie verspricht, klären wir in einer Beratung. Die Begriffe dahinter erklärt unser KI-Glossar für Führungskräfte.