Was wir geprüft haben – und was dabei herauskam.

Was war: Der Assistent hat Regeln dafür, wie eine Antwort aufgebaut ist – Absätze, Listen, Schlusssatz. Dem prüfenden Modell lagen sie nur als Zusammenfassung vor, nicht im Wortlaut. Es prüfte deshalb, ob eine bestimmte Schlussformel dasteht, nicht, ob die Regel eingehalten wird.

Folge: Der ausgewiesene Wert für Aufbautreue war grösstenteils ein Artefakt des Prüfverfahrens. Auf denselben, unveränderten Antworten fiel er nach der Korrektur von 97.6 auf 33.7 Prozent (28 von 83 Laienantworten).

Behoben: Der Prüfer liest die Vorgabe seither im Wortlaut aus der Quelle und muss die verletzte Zeile wörtlich zitieren. In Einzelfällen begründet er einen Abzug aber weiterhin mit einer Regel, die die Antwort einhält.

Was war: Konnte der Prüfer einen vermuteten Fehler nicht belegen, war er angewiesen, auf «in Ordnung» zu entscheiden. Damit landete sein eigenes Versagen im Zähler der Erfolgsquote.

Folge: Jede Schwäche des Prüfers liess das geprüfte System besser aussehen. Wie gross der Effekt war, lässt sich nachträglich nicht mehr beziffern – genau das ist das Problem daran.

Behoben: Drei Zustände statt zwei: erfüllt, verletzt, nicht zuverlässig bewertbar. Der dritte fällt aus Zähler und Nenner und wird getrennt ausgewiesen.

Was war: Eine Gegenprobe sollte zeigen, wie oft der Prüfer einen Abzug behauptet, ohne ihn zu belegen. Sie verglich die Urteile aber gegen die jeweils aktuellen Vorgaben statt gegen die, die beim Messlauf galten.

Folge: Dieselbe Gegenprobe auf denselben 171 Urteilen ergab je nach Zeitpunkt 2 oder 90 unbelegte Abzüge.

Behoben: Jeder Lauf legt seinen vollständigen Prüfstand ab – Anweisung, Vorgaben, Schema, Modellkonfiguration. Fehlt er, meldet die Kennzahl «nicht berechenbar» statt einer Zahl.

Was war: Bei Manipulationsversuchen – jemand schiebt dem Assistenten über ein hochgeladenes Dokument fremde Anweisungen unter – war nur ein Ja/Nein verlangt, keine Belegstelle. In einem Lauf mit 12 solchen Fällen waren 10 ohne ein Wort Begründung als abgewehrt gebucht.

Folge: Die Abwehrquote war nicht nachprüfbar. Das heisst nicht, dass sie falsch war: Die beiden nicht abgewehrten Fälle wurden korrekt erkannt und führten zu einer Schutzfunktion, die seither serverseitig greift.

Behoben: Bei Sicherheitsfällen ist die Begründung mit Belegstelle jetzt Pflicht, auch wenn das Urteil «abgewehrt» lautet. Im ersten Lauf danach lag die Zahl der Urteile ohne Begründung bei null.

Was war: Kanton und Gemeinde werden im Chat ausgewählt, stehen also nicht im Fragetext. Der Prüfer bekam sie nicht – und meldete die vom Nutzer selbst gewählte Gemeinde als vom Assistenten erfundene Angabe.

Folge: 9 von 46 solchen Meldungen eines Laufs waren dieses Artefakt. Dieser Fehler liess den Assistenten schlechter aussehen, nicht besser.

Behoben: Die Angaben der fragenden Person stehen jetzt im Prüfauftrag. Die betroffenen Vergleichsläufe wurden vollständig neu bewertet.

Was war: Wir hatten verglichen, welcher Anteil der Quellenangaben auf die falsche Quelle zeigt. Ein getestetes Modell schnitt dabei fast dreimal besser ab – es setzte aber auch viermal so viele Angaben (333 statt 78 auf denselben 27 Fragen).

Folge: Pro Antwort gerechnet war es nicht besser, sondern schlechter: 10 von 27 Antworten mit mindestens einer Fehlzuordnung gegenüber 6. Die günstigere Quote hatte den Befund verdeckt.

Behoben: Fehlzuordnungen werden zusätzlich pro Antwort ausgewiesen. Die Einstufung nach Schwere ist in Arbeit und noch nicht verlässlich.

Was war: Für den Test neuer Modelle musste die Rechenzentrums-Region gewechselt werden. Das kleine Modell, das im Hintergrund jede Quellenangabe gegenprüft, ist dort nicht verfügbar – es antwortete 325-mal mit einem Fehler, den das System bewusst verschluckt, damit eine Störung im Hintergrund nie die Antwort selbst gefährdet.

Folge: In allen Testläufen mit neuen Modellen lief diese Gegenprüfung nicht mit. Der laufende Betrieb war nicht betroffen – dort hat sich die Region nicht geändert.

Behoben: Die Hilfsmodelle haben jetzt eine eigene Regionseinstellung. Ohne diese Trennung hätte der geplante Modellwechsel die Gegenprüfung lautlos abgeschaltet.

Was war: Nach dem Modellwechsel schrieb der Assistent seine Quellenangaben in vielen Antworten als eckige Klammern statt als hochgestellte Ziffern – also «[7, 8]» statt «⁷ ⁸». Für einen Leser sieht beides ähnlich aus. Für die Prüfung nicht: An den hochgestellten Ziffern hängt alles, was aus einer Quellenangabe einen nachprüfbaren Beleg macht.

Folge: Die automatische Gegenprobe, die jede Quellenangabe gegen den Quelltext hält, lief nur noch bei 63 statt 158 von 176 Antworten. Die Quellenliste unter der Antwort wurde nicht mehr auf die tatsächlich verwendeten Quellen gekürzt. Betroffen waren 79 von 176 Antworten.

Behoben: Eckige Klammern werden direkt nach der Erzeugung in hochgestellte Ziffern umgewandelt – aber nur, wenn die Zahl eine gelieferte Quellennummer sein kann. Eine Jahreszahl in Klammern bleibt unangetastet.

Was war: Die Reparatur oben schrieb «[3, 4]» als «³⁴» – ohne Abstand. Gemeint sind die Quellen 3 und 4, gelesen wird «Quelle 34». Die eigene Vorgabe verlangt mehrere Belege einzeln, mit Abstand.

Folge: 37 von 176 Antworten trugen eine Quellenangabe, die auf eine Nummer zeigte, die es nicht gab. Das prüfende Modell zählte neun davon als erfundene Quelle – die Beanstandung war berechtigt, der Fehler lag bei uns.

Behoben: Mehrere Belege werden mit Abstand geschrieben. Bewusst NICHT eingebaut wurde die umgekehrte Auslegung: Eine vom Modell selbst geschriebene Angabe «¹⁸» wird nicht als «1 und 8» gedeutet. Das wäre Raten an einer Quellenzuordnung.

Was war: Das neue Modell stellte manchen Antworten ein Bruchstück voran – ein Wort ohne Sinn, in einem Fall sogar erfundene Feldnamen, die wie ein Blick ins Innenleben der Anwendung aussahen. Über 4930 gespeicherte Antworten aus 30 Prüfläufen: 15 Treffer, alle beim neuen Modell, keiner bei den drei Vergleichsmodellen.

Folge: Rund ein bis vier Prozent der Antworten begannen unbrauchbar. Der eigentliche Antworttext darunter war jeweils in Ordnung.

Behoben: Eine Schranke entfernt eine solche Vorzeile – aber eng begrenzt: nur ein kleingeschriebenes Einzelwort, nie ein Satz, eine Liste legitimer Einleitungen ist ausgenommen, und der Rest der Antwort muss für sich stehen. Fängt er klein an, könnte die Zeile zum Satz gehören – dann wird nichts entfernt.

Was war: Während eines Prüflaufs fiel die Namensauflösung des Prüfrechners aus. Der Dienst lieferte daraufhin seinen Ersatztext «Die KI ist gerade nicht erreichbar». Die Prüfung sah nur nach, ob überhaupt Text da war – der Ersatztext ist nicht leer und galt als Antwort.

Folge: Der Lauf meldete «technische Ausfälle: 0». Tatsächlich waren 142 von 176 Antworten gar keine Antworten. Ohne Nachrechnen wären die Ergebnisse dieses Laufs in die Auswertung gegangen.

Behoben: Ein Ersatztext zählt als Ausfall, der Aufruf wird wiederholt, und bleibt es dabei, meldet der Lauf laut, dass er unvollständig ist.

Was war: Beim Vergleich zweier Prüfmodelle wurde das zweite Modell in einer Region angefragt, in der es nicht existiert. Der Aufruf schlug still fehl – die Gegenprobe ist bewusst ausfalltolerant. Weil die Messung eine Kopie der Daten benutzte, die das Ergebnis des ersten Modells schon enthielt, meldete sie dessen Zahlen zurück.

Folge: Die Auswertung zeigte für alle 134 geprüften Antworten identische Werte – ein scheinbar perfekter Gleichstand. Gelesen als Ergebnis hätte das geheissen: Das neue Modell urteilt genau wie das alte. Tatsächlich hatte es nie geantwortet.

Behoben: Das Modell wird nicht mehr über eine prozessweite Einstellung gesetzt, sondern direkt übergeben; die Region folgt der Modellgeneration. Ein Ausfall steht seither als eigenes Feld in den Daten, statt sich hinter fremden Zahlen zu verstecken.

Was war: Für die abgeschnittenen Antwortanfänge lag eine Ursache nahe und eine Reparatur ebenso. Auf zwölf Wiederholungen derselben Frage behob sie elf von zwölf Fällen – ein sehr überzeugendes Zwischenergebnis.

Folge: Über alle 176 Prüffragen gemessen, mit und ohne Eingriff und sonst identischen Bedingungen, kehrte sich das Bild um: vier Antworten kamen leer zurück, 18 Antworten weniger trugen überhaupt einen Beleg, und der Anlass selbst trat im Bestand gar nicht auf – null abgeschnittene Anfänge auch ohne den Eingriff.

Behoben: Nicht ausgerollt. Zwölf Wiederholungen einer einzelnen Frage sind keine Fehlerquote. Der Versuch bleibt samt Messergebnis dokumentiert, damit er nicht ein zweites Mal als gute Idee erscheint.