Pilotprojekt statt Großprojekt: wie ein KI-Pilot zugeschnitten wird und wann er endet

Wenn Sie als Geschäftsführung über eine erste KI-Anwendung entscheiden, müssen Sie nicht über das ganze Unternehmen entscheiden. Ein Pilotprojekt beantwortet eine einzige Frage: Trägt diese Anwendung in diesem Ablauf, mit diesen Daten und diesen Leuten? Damit die Antwort etwas taugt, muss vor dem Start feststehen, wie klein der Pilot ist, wann er endet und was danach geschieht.

Ein Pilot hat drei mögliche Ausgänge: Er wird übernommen, einmal nachgeschärft oder beendet.

Wer vor dem Start nur den ersten plant, hat keinen Pilot, sondern ein Großprojekt mit kleinem Anfang.

Was ein KI-Pilotprojekt ist

Ein KI-Pilotprojekt ist ein zeitlich begrenzter Versuch, nach dem sich entscheiden lässt, ob eine KI-Anwendung bleibt. Zwei Begriffe liegen dabei nah beieinander und meinen Verschiedenes:

Proof of Concept

Ein Machbarkeitsnachweis: Er zeigt, dass eine Technik eine Aufgabe grundsätzlich lösen kann, an ausgewählten Beispielen und abseits des Tagesgeschäfts. Für Sie heißt das: Ein gelungener Proof of Concept sagt noch nichts darüber, ob Ihr Team mit der Anwendung schneller oder besser arbeitet.

Pilotprojekt

Der Versuch im echten Ablauf: Die Anwendung bekommt echte Vorgänge, echte Daten und die Menschen, die später mit ihr arbeiten sollen. Für Sie heißt das: Erst der Pilot zeigt, was die Anwendung im Alltag kostet und was sie einspart, und erst er liefert die Grundlage für eine Entscheidung über den Dauerbetrieb.

Warum ein Pilot statt eines Großprojekts

Ein Pilot begrenzt, was ein Irrtum kostet. Ob eine KI-Anwendung in Ihrem Betrieb trägt, hängt an Dingen, die sich vorher schlecht abschätzen lassen: wie sauber Ihre Daten sind, wie gut das Modell mit Ihrer Fachsprache zurechtkommt und ob die Mitarbeitenden ihm die Arbeit anvertrauen.

Das Großprojekt

Mehrere Abteilungen, viele Anwendungsfälle und eine Einführung in einem Zug. Was nicht trägt, zeigt sich erst, wenn Budget, Verträge und Erwartungen bereits feststehen, und ein Rückzug wird zur Frage des Gesichtsverlusts.

Der Pilot

Ein Ablauf, ein Team, ein fester Zeitraum. Was nicht trägt, zeigt sich, solange es wenig gekostet hat, und ein Abbruch ist ein vorgesehenes Ergebnis, kein Scheitern.

Ein Pilot ist kein Versprechen, dass danach ausgeweitet wird.

Den Pilot zuschneiden

Zugeschnitten ist ein Pilot dann richtig, wenn er in jeder Hinsicht klein genug ist, um in seiner Laufzeit ein klares Ergebnis zu liefern, und echt genug, dass das Ergebnis etwas über den Betrieb aussagt. Beides zieht in entgegengesetzte Richtungen; die folgende Tabelle zeigt, wo die Grenze verläuft.

Hinsicht	Zu groß	Zu künstlich	Passend
Ablauf	mehrere Abläufe auf einmal	ein Ablauf, aber ohne echte Vorgänge	ein Ablauf, mit den Vorgängen, die wirklich anfallen
Daten	der gesamte Bestand	die zwanzig saubersten Beispiele	eine Auswahl, die den Bestand mit seinen Lücken und Sonderfällen abbildet
Beteiligte	alle, die irgendwann damit arbeiten könnten	nur das Projektteam	ein Team, das den Ablauf täglich erledigt, mit einer fachkundigen Person, die die Ergebnisse beurteilt
Anbindung	Umbau der bestehenden Programme	eine Insel ohne Bezug zu den bestehenden Programmen	so viel Anbindung, wie der Ablauf braucht, ohne laufende Arbeit zu stören
Laufzeit	offen, „bis es funktioniert“	so kurz, dass kein Alltag zustande kommt	fest, mit Enddatum und Entscheidungstermin

Die Datenzeile entscheidet am meisten. Ein Pilot, der nur mit aufgeräumten Beispielen arbeitet, zeigt, was die Anwendung unter idealen Bedingungen leistet, und das ist genau die Frage, die ein Proof of Concept schon beantwortet hat. Wer die eigenen Unterlagen vorher in Ordnung bringen muss, findet dazu den Artikel zu operativen Schulden.

Vor dem Start steht außerdem ein Ausgangswert. Wie lange ein Vorgang ohne KI dauert, wie viele Rückfragen er auslöst, wie viele Fehler darin stecken: Ohne diese Zahl aus Ihrem eigenen Betrieb lässt sich am Ende nicht sagen, ob der Pilot etwas verbessert hat. Wie Sie die Qualität der Ergebnisse selbst prüfen, beschreibt der Artikel zu Evals für KI-Anwendungen.

Abbruchkriterien vor dem Start festlegen

Abbruchkriterien sind Schwellen, die vor dem Start schriftlich feststehen und bei deren Unterschreiten der Pilot endet, ohne dass darüber neu verhandelt wird. Nachträglich festgelegt, sind sie wertlos: Wer nach Wochen Arbeit entscheidet, ob ein Ergebnis reicht, hat jeden Anreiz, noch etwas weiterzumachen.

In einer Prognose vom 29. Juli 2024 nannte das Analysehaus Gartner vier Gründe, aus denen Projekte mit generativer KI nach dem Machbarkeitsnachweis aufgegeben würden: schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklarer Geschäftsnutzen. Für jeden davon lässt sich vor dem Start eine Schwelle setzen.

Daten

Was ist das Mindeste, das die Daten hergeben müssen? Etwa: Für einen festgelegten Anteil der Vorgänge findet die Anwendung die maßgebliche Unterlage. Liegt der Anteil darunter, ist das Problem die Datenlage, nicht das Modell.

Risiko

Welche Fehler darf es nicht geben? Etwa: keine falsche Preisangabe, keine Zusage an Kunden ohne Freigabe. Tritt ein solcher Fehler auf und lässt er sich nicht sicher abfangen, endet der Pilot.

Kosten

Was darf der Betrieb im Monat kosten, Lizenzen, Rechenleistung und Betreuung zusammen? Die Hochrechnung aus dem Pilot muss unter dieser Grenze liegen, sonst trägt der Dauerbetrieb nicht.

Nutzen

Um wie viel muss der Ausgangswert besser werden? Gemessen an Ihrer eigenen Zahl von vor dem Start, nicht an einem Wert aus dem Angebot des Anbieters.

Dazu gehört, wer entscheidet und wann. Eine benannte Person aus der Geschäftsführung oder der Fachabteilung trifft die Entscheidung zum festgesetzten Termin, auf Grundlage der Kriterien, die vor dem Start feststanden. Steht kein Termin im Kalender, verlängert sich ein Pilot von selbst.

Was nach dem Pilot geschieht

Am Entscheidungstermin gibt es drei Ausgänge, und jeder ist ein brauchbares Ergebnis.

Übernehmen

Die Kriterien sind erfüllt. Die Anwendung geht in den Betrieb über, mit den Änderungen, die der nächste Abschnitt beschreibt.

Einmal nachschärfen

Ein Kriterium ist knapp verfehlt, und die Ursache ist benannt, etwa eine fehlende Datenquelle. Es gibt eine zweite, kürzere Runde mit derselben Schwelle, nicht mit einer niedrigeren. Eine dritte gibt es nicht.

Beenden

Ein Kriterium ist klar verfehlt. Festgehalten wird, woran es lag: an den Daten, am Ablauf oder an der Technik. Diese Notiz ist der Ertrag des Piloten, denn sie zeigt, was vor dem nächsten Versuch zu klären ist.

Die Grenze von einer Nachschärfrunde schützt vor dem Dauerpilot: einer Anwendung, die nie übernommen und nie beendet wird, Kosten verursacht und Aufmerksamkeit bindet, ohne dass jemand über sie entschieden hat.

Vom Pilot in den Betrieb

Der Übergang in den Betrieb ist eine eigene Aufgabe, keine Verlängerung des Piloten. Im Pilot wird vieles von Hand aufgefangen, was im Betrieb geregelt sein muss.

Frage	Im Pilot	Im Betrieb
Wer kümmert sich?	das Projektteam, gegebenenfalls mit einem externen Partner	eine benannte Person im eigenen Haus, die die Anwendung fachlich verantwortet
Woher kommen die Daten?	ein fester Ausschnitt	der laufende Bestand, mit einer Zuständigkeit dafür, dass er gepflegt wird
Wer darf was?	Testzugänge für wenige Personen	Zugänge nach Rolle, so wenige Rechte wie möglich
Wer prüft die Ergebnisse?	eine fachkundige Person sieht jedes Ergebnis durch	Stichproben in festen Abständen und Prüfungen bei jeder Änderung an Modell oder Anweisung
Was kostet es?	ein Pilotbudget	laufende Kosten je Monat, die mit der Nutzung wachsen
Was, wenn es ausfällt?	der Ablauf läuft wie vorher	ein beschriebener Rückfallweg, auf dem der Ablauf ohne KI weiterläuft

Die erste Zeile entscheidet, ob der Übergang trägt. Solange niemand im Haus die Anwendung als seine Aufgabe betrachtet, bleibt sie ein Projekt des Anbieters, und sie endet mit dessen Vertrag. Deshalb gehört die Person, die die Anwendung im Betrieb verantworten soll, schon in den Pilot, nicht erst in die Übergabe.

Erweitert wird schrittweise. Erst wenn der Betrieb im ersten Team ein paar Wochen ohne Eingriffe des Projektteams läuft, kommt das zweite Team dazu, und dieselben Kriterien gelten dort noch einmal. Ein zweiter Ablauf ist kein Ausbau, sondern ein neuer Pilot.

Was ein System im Betrieb an Rechten und Aufsicht braucht, hängt davon ab, wie viel es selbst tut; die Stufen dafür beschreibt der Artikel zu den Reifegraden von KI-Systemen.

Stand der Angaben

Die vier Gründe für abgebrochene Projekte stammen aus einer Prognose von Gartner (Pressemitteilung vom 29. Juli 2024). Alle übrigen Aussagen sind Einordnung, keine Messung.

Welcher Ablauf sich für Ihren ersten Pilot eignet und wo die Schwellen liegen sollten, klären wir in einer Beratung; auf Wunsch begleiten wir den Pilot bis zur Integration in Ihre Abläufe.