Was anders ist als bei klassischer Software
Ein Buchungsprogramm tut bei gleicher Eingabe immer dasselbe. Ein Sprachmodell kann auf dieselbe Frage leicht unterschiedlich antworten, und seine Fehler sind inhaltlicher Art. Eine Abnahme kann sich deshalb nicht auf „Knopf funktioniert“ beschränken. Sie muss zeigen, dass die Antworten im typischen Fall stimmen und dass das System in unklaren Fällen nichts erfindet.
Die Bausteine einer Abnahme
Dazu gehören ein Goldset aus echten Fragen mit Referenzantworten, ein vorab schriftlich festgelegtes Kriterium, wann das Ergebnis genügt, eine Ausschlussregel für erfundene Antworten und eine Bewertung durch Fachleute des Betriebs. Ergänzend sollte festgehalten werden, mit welcher Konfiguration geprüft wurde, damit spätere Änderungen erkennbar sind.
Wer bewertet
Wer eine Lösung konfiguriert hat, ist befangen. Das ist kein Vorwurf, sondern menschlich: Man sieht, was man erwartet. Deshalb bewerten die Antworten Personen, die das Fachgebiet kennen und die Lösung nicht gebaut haben. Die Abnahmeerklärung unterschreibt die Person, die künftig für die Fähigkeit zuständig ist.
Abnahme ist kein Endpunkt
Nach der Abnahme ändern sich Unterlagen, Abläufe und manchmal das zugrunde liegende Modell. Jede wesentliche Änderung ist ein Anlass, die Prüfung zu wiederholen. Praktisch heißt das: Das Goldset bleibt erhalten, wird gepflegt und bei Bedarf erneut durchlaufen. Eine einmalige Abnahme sagt nur etwas über den Zustand an diesem Tag.
Grenzen der Aussagekraft
Eine bestandene Abnahme zeigt, dass der Ablauf die geprüften Fragen gut beantwortet. Sie zeigt nicht, dass jede künftige Frage richtig beantwortet wird. Deshalb läuft ein neuer Ablauf nach der Abnahme in der Regel zunächst mit menschlicher Freigabe, und erst die Erfahrung aus dem Betrieb rechtfertigt mehr Selbstständigkeit.