Warum der Eindruck täuscht
Nach einer Vorführung mit ein paar gelungenen Antworten wirkt ein System oft besser, als es ist. Menschen merken sich die überraschend guten Ergebnisse und übersehen die mittelmäßigen. Außerdem stellt man in einer Vorführung andere Fragen als im Alltag. Messen heißt, diesen Eindruck durch etwas Wiederholbares zu ersetzen.
Was bewertet wird
Bewährt haben sich wenige, klar beschriebene Kriterien. Stimmt die Aussage inhaltlich? Ist sie durch die genannte Fundstelle gedeckt? Fehlt etwas Wesentliches? Hat das System bei fehlender Grundlage ehrlich abgelehnt, statt zu raten? Zusätzlich kann man Ton und Verständlichkeit bewerten, sollte diese aber getrennt von der Richtigkeit führen.
Bewertungsskala und Ausschlusskriterien
Eine einfache Skala, etwa richtig, teilweise richtig, falsch, ist leichter einheitlich anzuwenden als feine Punkteskalen. Daneben braucht es Ausschlusskriterien, die unabhängig vom Durchschnitt gelten: Eine erfundene Quelle oder eine erfundene Zusage wiegt schwerer als mehrere unvollständige Antworten und sollte das Ergebnis insgesamt kippen.
Wiederholbarkeit sichern
Eine Messung ist nur dann etwas wert, wenn man sie wiederholen und vergleichen kann. Dazu gehört, die Fragen und Referenzantworten unverändert aufzubewahren, die verwendete Konfiguration festzuhalten und die Bewertungen zu dokumentieren. So lässt sich nach einer Änderung zeigen, ob sie geholfen oder geschadet hat.
Was Messung nicht leisten kann
Gemessen wird immer nur, was im Fragenkatalog steht. Neue Themen, seltene Ausnahmen und ungewöhnliche Formulierungen fallen durch das Raster. Deshalb ergänzt man die Messung im Betrieb durch Stichproben und durch die Rückmeldungen der Menschen, die mit den Ergebnissen arbeiten. Zahlen aus einer Messung sind eine Orientierung, kein Gütesiegel.