Einen modellbasierten Evaluator prüfen

Genau bestimmen, was der Evaluator entscheiden soll

Die Hauptaufgabe besteht darin, die Beziehung einer Aussage zur vorgegebenen Beleggrundlage zu bestimmen: gestützt, widersprochen oder unzureichende Informationen. Produktidentität, Bedingungen und Quellenversion müssen übereinstimmen. Geprüft wird relativ zu den vorgelegten Unterlagen, nicht unabhängig die Wahrheit über ein reales Produkt.

Anwendbarkeit des Dokuments, Vollständigkeit der Antwort und Veröffentlichungsentscheidung werden getrennt erfasst. Die Anleitung belegt die Handwäsche des T500-Deckels. Für eine Aussage über T350 ist sie nicht anwendbar; ohne weitere Angaben lautet das Urteil zu T350 „unzureichende Informationen“. Auch eine belegte Zahl kann nur einen Teil der Antwort zum gesamten Protokoll ausmachen.

Die Einheit muss festgelegt werden. Nennt ein Satz Volumen, Masse und Pflegeart, wird er unter Bewahrung des gemeinsamen Kontexts in prüfbare Aussagen zerlegt. Eine Bedingung aus dem vorhergehenden Absatz darf dabei nicht verloren gehen. Sonst wird der Evaluator mit beschädigter Eingabe geprüft.

In der Studie FActScore wird der Text in atomare Fakten zerlegt und der Anteil berechnet, den ein gewähltes Korpus stützt. Die Arbeit prüft den Ansatz an Biografien und Wikipedia; in der ursprünglichen Metrik sind Fakten gleich gewichtet. Dies hilft bei der Unterscheidung von Einheiten, erlaubt aber keine Übertragung veröffentlichter Evaluatorwerte auf einen Produktkatalog.

Unser Raster erfasst zusätzlich wesentliche Bedingungen, Produktbezug und die Kritikalität eines Verstoßes. Das sind anwendungsbezogene Entscheidungen. Sie dürfen nicht unter dem Namen einer fremden Metrik verborgen werden.

Der Kontrollsatz muss ähnliche Fälle unterscheidbar machen

Jeder Fall enthält die zu prüfende Aussage, verfügbaren Kontext, zugelassenes Korpus, erwartetes Urteil und Annotationsgrundlage. Das Fallkorpus ist nicht die ganze Bibliothek: Wird nur die Zeile über Tuben übergeben, gelten Farbangaben aus einem anderen Artikel nicht als verfügbar.

Dies sind unterschiedliche Eingaben und kein Versuch, einem Produkt widersprüchliche Eigenschaften zuzuschreiben. Für jedes Korpus müssen die tatsächlich verwendeten Ausschnitte gespeichert werden. Das vollständige T500-Protokoll umfasst 450 ml, anfänglich 95 °C, Luft bei +20 °C, den sechs Stunden lang geschlossenen Becher und am Ende mindestens 60 °C.

Benötigt werden auch Fälle mit einer korrekten Bedingung im benachbarten Satz. Beispielsweise werden zuerst alle Bedingungen eines bestimmten Protokolls genannt, danach folgt „Am Ende lag die Temperatur bei mindestens 60 °C“. Die Prüfung des gesamten Zusammenhangs muss diesen Geltungsbereich beachten. Der isolierte Satz ist nicht dieselbe Eingabe.

Paare mit Bedeutungserhalt und Bedeutungsänderung ergänzen den Satz: eine ausgeschriebene Zahl, eine entfernte Bedingung oder ein anderer Pflegegegenstand. Lange und kurze Fassungen müssen unterschiedlich mit Richtigkeit kombiniert werden, damit Länge das Kriterium nicht ersetzt.

Die Referenz beginnt mit Raster und unabhängigen Entscheidungen

Annotierende erhalten denselben Kontext und dieselben zugelassenen Quellen. Zunächst entscheidet jede Person unabhängig; danach werden Abweichungen anhand der Belege geklärt. Ist die Aussage selbst mehrdeutig, sollte die Formulierung präzisiert oder ein strittiger Status bewahrt werden, statt Uneinigkeit durch einen Mittelwert zu verdecken.

Zusammen mit dem Label werden Zitat, Gegenstand, wesentliche Bedingungen und Begründung gespeichert. Für 120 ml werden Rechenoperation und Eingaben erfasst. Bei unbekannter Spülmaschineneignung werden die Grenzen des Korpus festgehalten, in dem weder Erlaubnis noch Verbot vorliegen. So lässt sich die Referenz selbst prüfen, statt nur Labelzeichenfolgen zu vergleichen.

Besonders wichtig ist die Unterscheidung zwischen „widersprochen“ und „nicht belegt“. Nominal 450 ml ist mit den angegebenen 500 ml desselben Parameters unvereinbar. Die Spülmaschineneignung ist lediglich nicht festgestellt. Eine kategorische Veröffentlichung kann in beiden Fällen falsch sein; die Art der Beleggrundlage unterscheidet sich jedoch.

In FEVER ist die Belegsuche von der Aussagenprüfung getrennt; Bestätigung und Widerlegung sind mit Korpusausschnitten verknüpft. Für unsere Prüfung ist dies eine hilfreiche Datensatzstruktur. Auch die Referenz erfordert weiterhin die Prüfung, ob das Dokument zum richtigen Produkt gehört.

Belegprüfung und Belegsuche trennen

Im ersten Modus erhält der Evaluator Aussage und vorausgewählte Beleggrundlage mit dem erforderlichen Kontext. So wird seine Entscheidung anhand der verfügbaren Informationen geprüft. Für „unzureichende Informationen“ wird auch die Grenze des Materials festgelegt: Fehlen in einem Absatz bedeutet nicht Fehlen in allen Dokumenten der Welt.

Im zweiten Modus werden Aussage und festes Korpus übergeben, in dem der Beleg gesucht werden muss. Gefundene Ausschnitte und endgültiges Urteil werden gespeichert. Wird das benötigte Dokument nicht gefunden, lässt sich der Fehler vor der Paarprüfung verorten.

Die beiden Modi müssen nicht immer dasselbe Urteil liefern. Ist der erste bewusst auf die Tubenzeile begrenzt und enthält der zweite zusätzlich ein Dokument zur Palette, kann die Farbzahl eine neue Beleggrundlage erhalten. Ein Vergleich ist nur unter Berücksichtigung der unterschiedlichen Eingaben und ihrer jeweiligen Referenz sinnvoll.

Zur Fehlersuche lässt sich ein misslungener Fall des zweiten Modus mit sicher anwendbarer Beleggrundlage wiederholen. Wird die Entscheidung korrigiert, spricht dies für eine Untersuchung von Suche und Kontextübertragung. Die Beobachtung allein beweist nicht, dass alle anderen Fälle dieselbe Ursache haben.

Die Konfiguration vor der abschließenden Prüfung fixieren

Anweisungsabstimmung und abschließende Prüfung verwenden unterschiedliche Fälle. Familien naher Umformulierungen sollten im selben Teil bleiben. Wurde die Anweisung am Fehler „Nennvolumen 450 ml“ abgestimmt, liefert eine nahezu wortgleiche Variante keine unabhängige Prüfung.

Festgehalten werden Modell, verfügbare Versionsbezeichnung, Aufgabenanweisung, Laufparameter, Korpus, Suchmethode, übergebener Kontextumfang und Ausgabeformat. Auch die tatsächlich erhaltene Bewertung wird gespeichert. Eine Entscheidungsänderung lässt sich dann einer Konfigurationsänderung gegenüberstellen.

Nach Änderungen aufgrund der zurückgehaltenen Prüfung gehören diese Fälle zum bekannten Material. Eine erneute Qualitätsbestätigung benötigt einen unabhängigen Satz oder die ehrliche Angabe, dass eine Regressionsprüfung an bekannten Beispielen durchgeführt wurde.

Beim Vergleich zweier Fassungen können Reihenfolge und sichtbare Autorenzuordnung variiert beziehungsweise verborgen werden. Die Arbeit von Zheng und Mitautoren zeigt Positionsabhängigkeit und eine Bevorzugung übermäßiger Länge unter den untersuchten Bedingungen. Solche Kontrollen helfen, Instabilität zu erkennen; eine unveränderte Wahl bedeutet noch keine richtige Entscheidung.

Ändert sich das Verhalten bei identischer Eingabe zwischen Läufen, muss der Plan dies berücksichtigen: Wie viele Wiederholungen erfolgen, und welches Ergebnis wird veröffentlicht? Nur gelungene Antworten auszuwählen oder die Regel nach Sichtung der Ergebnisse stillschweigend zu ändern, ist nicht zulässig.

Übersehene Fehler, Fehlalarme und Abdeckungsgrenzen ausweisen

Zunächst werden Urteile pro gewählter Einheit mit der Referenz verglichen. Bei der Fehlersuche bedeutet die positive Klasse das Vorliegen eines Verstoßes; Konfusionsmatrix und Nenner werden in Artikel 09 behandelt. Bei den drei Quellenbeziehungen werden etwa Verwechslungen von Widerspruch und unzureichender Information oder von Stützung und unzureichender Information getrennt ausgewiesen. Enthaltungen werden außerhalb dieser Dreiklassentabelle erfasst.

Ein korrektes „unzureichende Informationen“ ist ein vollwertiges Urteil. Enthaltung bedeutet hier, dass die vorgesehene Entscheidung nicht getroffen werden kann. Zahl dieser Fälle, Anteil automatisch bewerteter Fälle und Ergebnisse der anschließenden manuellen Prüfung werden getrennt gezeigt. Das Auslassen aller schwierigen Fälle darf die Leistung des Gesamtsystems nicht besser erscheinen lassen.

Anteil gestützter Fakten und Antwortvollständigkeit unterscheiden sich ebenfalls. FActScore bewertet Precision relativ zum Korpus und misst keinen Recall; geringe Faktenzahlen und häufige Enthaltungen werden eigens diskutiert. Sein Nenner sind die atomaren Fakten des geprüften Textes. Dies ist nicht der Anteil berechtigter Fehlersignale eines Evaluators. Die Richtigkeit seiner Urteile wird durch Vergleich mit unabhängiger Annotation bestimmt. Eine Produktseite kann nur die korrekten 500 ml behalten und einen guten Stützungsanteil erreichen, ohne Pflege- und Versuchsfragen zu beantworten. Dafür braucht sie einen eigenen Abdeckungsplan.

Für einen Katalog sollte der Umgang mit wiederholten Aussagen und kritischen Fehlern vorab festgelegt werden. Mehrere Wiederholungen des korrekten Volumens dürfen ein unbelegtes Verbot nicht verdecken. Diese Regel ist unsere Ergänzung des Rasters; die gleiche Gewichtung atomarer Fakten in der Ausgangsarbeit ist eine andere Entscheidung.

Das Gesamtergebnis wird nach Teilgruppen aufgeschlüsselt: Produkt, Parametertyp, Negation, Bedingung, Berechnung und Suche nach Angaben eines anderen Modells. Auch die Teilgruppengrößen sind erforderlich. Ein kritischer übersehener Fehler in einer kleinen Gruppe verdient eine Analyse, erlaubt aber keine genaue Fehlerrate für den gesamten künftigen Katalog.

Den Grund für den nächsten Schritt bewahren

Beim Fehler „Nennvolumen 450 ml“ muss das Protokoll Ausgangsaussage, gefundenen Protokollausschnitt sowie erwartetes und erhaltenes Urteil zeigen. Anschließend wird untersucht, wo die Rolle der Größe verloren ging: Extraktion, Suche oder Vergleich. Eine falsche Entscheidung offenbart ihre innere Ursache nicht automatisch.

Lehnt der Evaluator 6 × 20 ml ab, muss geprüft werden, ob das Raster nachvollziehbare Schlussfolgerungen zulässt und beide Ausgangswerte übergeben wurden. Akzeptiert er T350 anhand eines T500-Dokuments, ist die Anwendbarkeitsprüfung zu untersuchen. Ignoriert er eine Bedingung im vorherigen Absatz, ist das erhaltene Kontextfenster zu prüfen.

Die Analyse führt zu einer konkreten Prozesskorrektur oder Datenklärung. Danach werden betroffene Prüfungen wiederholt und die frühere Konfiguration zum Vergleich bewahrt. Regressionen sind auch im Evaluator selbst möglich.

Das Protokoll liefert geprüfte Eingaben, erwartete Entscheidungen und ein Verfahren zur Analyse tatsächlicher Ausgaben, sobald der Test stattfindet. Solange Ausgaben fehlen, wird keine Genauigkeitsaussage getroffen. Für eine einzelne Produktseite lassen sich diese Materialien mit Quellendossier, Fragenkarte und angenommener Textfassung verbinden: So entsteht eine nachvollziehbare Geschichte jeder Entscheidung.