Eine Redaktion erhält einen präzisen Hinweis: „Die Farben lassen sich nach der Arbeit leicht abwaschen“ gibt die Anleitung zur Pinselpflege nicht wieder. Die Pinsel und die Bedingung „bevor die Farbe trocknet“ werden wieder eingefügt; zugleich wird der ganze Absatz gekürzt. Die Pflegeanweisung wird genauer. Aus den Nachbarsätzen verschwinden jedoch die Grundierung der Leinwand und die Trocknungstemperatur.
Dieses Ergebnis darf nicht allein deshalb akzeptiert werden, weil der ursprüngliche Hinweis umgesetzt wurde. Der neue Textzustand muss geprüft werden. Kehren wir zum fiktiven Set Alfa (russisch „Альфа“) aus dem ersten Artikel zurück. Nun geht es um den Verlauf der Korrektur und den Erhalt bereits richtiger Angaben.
Ein Prüfhinweis, drei Fassungen eines Absatzes
Im fiktiven Alfa-Dossier stehen Papier, grundierte Leinwand und Holz. Eine dünne Schicht trocknet bei +20 °C in 30 Minuten. Pinsel müssen unmittelbar nach der Arbeit und vor dem Trocknen der Farbe mit Wasser ausgespült werden. Das Set enthält sechs Tuben zu je 20 ml; im betrachteten Abschnitt wird der Lieferumfang jedoch nicht behandelt. Hinter diesen Vorgaben stehen keine realen Farbeigenschaften.
Ausgangstext · fehlerhafte Pflegeaussage
Für Papier, grundierte Leinwand und Holz. Eine dünne Schicht trocknet bei +20 °C in 30 Minuten. Die Farben lassen sich nach der Arbeit leicht abwaschen.
Die ersten beiden Sätze stimmen mit dem Dossier überein. Im dritten fehlt der zu reinigende Gegenstand; der Zustand der Farbe wird nicht genannt, und eine Bewertung der Leichtigkeit kommt hinzu. Der Korrekturauftrag betrifft genau diese Aussage.
Nach der Kürzung · Pflege korrigiert, Bedingungen verloren
Für Papier, Leinwand und Holz. Trocknet in 30 Minuten. Spülen Sie die Pinsel unmittelbar nach der Arbeit mit Wasser aus, bevor die Farbe trocknet.
Die Aufgabe zur Pflege ist erledigt. Die neue Fassung entfernt jedoch die im Dossier genannte Grundierungsbedingung und lässt die Trocknungszeit ohne Bezug zu Schichtdicke und Temperatur stehen. Das sind Regressionen: Bei der Änderung gingen zuvor eingehaltene Anforderungen verloren. Eine gelungene lokale Korrektur gleicht diese Verluste nicht aus.
Fassung mit erhaltenen Bedingungen
Für Papier, grundierte Leinwand und Holz. Eine dünne Schicht trocknet bei +20 °C in 30 Minuten. Spülen Sie die Pinsel unmittelbar nach der Arbeit mit Wasser aus, solange die Farbe noch nicht getrocknet ist.
Hier ist die beanstandete Aussage korrigiert, und die Bedingungen der beiden Nachbarsätze sind erhalten. Das löst die Aufgabe für diesen Abschnitt. Die Vollständigkeit der Produktseite und die Übereinstimmung mit anderen Feldern benötigen eigene Prüfungen.
Bedeutung vergleichen, nicht die Zahl geänderter Wörter
Ein gewöhnlicher Versionsvergleich zeigt die gelöschten Wörter. Für die Abnahme sollte zusätzlich festgehalten werden, welche Bedeutung sie sichern. „Grundiert“ begrenzt die Oberfläche; „dünn“ und „bei +20 °C“ bestimmen die Bedingungen der Zeitangabe. „Leicht“ ergänzt dagegen eine Bewertung, die im Dossier fehlt.
Bei jeder Korrektur lässt sich fragen: Welche Aussage ist hinzugekommen, verschwunden, enger oder weiter geworden? Wird das russische „пока краска не высохла“ („solange die Farbe noch nicht getrocknet ist“) durch „после высыхания“ („nach dem Trocknen“) ersetzt, bleibt ein großer Teil des Wortschatzes erhalten, aber die Anweisung ändert sich. Der Wechsel von „6 туб по 20 мл“ („6 Tuben zu je 20 ml“) zu „шесть туб по двадцать миллилитров“ („sechs Tuben zu je zwanzig Millilitern“) kann dagegen die Mengenangabe trotz vieler geänderter Zeichen erhalten.
Danach wird der Geltungsbereich geprüft. Wird die Temperatur in die Abschnittsüberschrift verschoben, kann sie für alle folgenden Zeilen verständlich bleiben. Landet sie in einer Fußnote zu einem anderen Modell, hilft das bloße Vorkommen von „+20 °C“ auf der Seite nicht mehr. Geprüft werden muss der Bezug zwischen Bedingung und Aussage in der fertigen Darstellung.
Auch ein Bedeutungsvergleich wird an den Ausgangsstellen überprüft. Bemerkt er das verschwundene „bei +20 °C“ nicht, darf sein Urteil über den Erhalt der Bedingungen nicht übernommen werden.
Unterschiedliche Änderungen brauchen unterschiedliche Erwartungen
Ein wiederholbarer Prozess lässt sich gut mit kurzen Paaren prüfen. Ein Paar sollte die Antwort erhalten, ein anderes eine geänderte Entscheidung verlangen. Andernfalls erscheint auch ein System stabil, das immer alles akzeptiert oder immer alles ablehnt.
CheckList unterscheidet minimale Funktionstests, Invarianztests und Tests mit gerichteter Ergebniserwartung. Auf Produkttexte lässt sich das so anwenden: einen einfachen Fall mit bekanntem Urteil festlegen und anschließend die Formulierung bei gleichem Sinn oder eine wesentliche Bedingung mit vorab bestimmter Erwartung ändern. Das ist unsere Anwendung des Forschungsansatzes.
| Änderung | Erwartung | Prüfgegenstand |
|---|---|---|
| „6 туб по 20 мл“ → „шесть туб по двадцать миллилитров“ („6 Tuben zu je 20 ml“ → „sechs Tuben zu je zwanzig Millilitern“) | Die Mengenangabe bleibt belegt. | Bedeutungsstabilität bei anderer Schreibweise von Zahl und Einheit. |
| „До высыхания“ → „пока краска не высохла“ („vor dem Trocknen“ → „solange die Farbe noch nicht getrocknet ist“) in der Anweisung, Pinsel unmittelbar nach der Arbeit auszuspülen | Die Bedingung bleibt erhalten. | Umformulierung ohne Verlust der zeitlichen Grenze. |
| „Für grundierte Leinwand“ → „für Leinwand“ in einer separat geprüften Beschreibung | Die neue Formulierung erfordert einen Hinweis auf den erweiterten Geltungsbereich. | Empfindlichkeit gegenüber dem Entfernen einer wesentlichen Bedingung. |
| Nominelles Fassungsvermögen der T500: „500 ml“ → „450 ml“ | Ein belegter Parameter wird falsch. | Nominelles Fassungsvermögen von der Füllmenge im Versuch unterscheiden. |
Eine kleine Änderung ist nicht zwangsläufig neutral. Die Arbeit von Gardner und Kollegen über Contrast Sets nutzt kleine, sinnvolle Änderungen, um Entscheidungsgrenzen zu untersuchen. In unserem Beispiel sollte das Streichen von „grundiert“ die Bewertung verändern, das Ausschreiben der Zahlen sie dagegen erhalten.
Die Erwartung wird vor dem Durchlauf festgelegt und mit dem Auftragskontext abgeglichen. Verlangt der Kanal die wörtliche russische Zeichenfolge „20 мл“ („20 ml“), kann das Ausschreiben den Sinn erhalten und dennoch das Format verletzen. Die Bedeutungsprüfung sollte dann die Menge akzeptieren, während die Prüfung der wörtlichen Vorgabe einen gesonderten Verstoß meldet. Ein einziges Urteil für beide Anforderungen würde die Ursache verdecken.
Solche Paare decken ausgewählte Schwachstellen auf. Wenige erfolgreiche Beispiele belegen keine Leistungsfähigkeit im gesamten Katalog. Der Prüfsatz wird um reale Fehlerfälle und unabhängige Beispiele erweitert, damit die Prüfung nicht beim Wiedererkennen bekannter Formulierungen stehen bleibt.
Wann ein lokaler Austausch nicht genügt
Eine punktuelle Korrektur eignet sich, wenn der Fehler lokal begrenzt ist und der umgebende Text zusammenhängend bleibt. In unserem Abschnitt genügt der Austausch des Pflegesatzes. Sind Einschränkungen über mehrere Absätze verstreut, kann dieselbe Strategie eine lange Kette von Präzisierungen und widersprüchlichen Verweisen erzeugen.
Manchmal ist ein Neuaufbau sinnvoller: Anwendung und Pflege trennen, Parameter benennen und vergleichbare Werte in die technischen Daten verlagern. Dazu sollte festgehalten werden, welche Inhalte erhalten bleiben müssen; nach dem Umbau werden sie erneut abgeglichen. Wenige geänderte Wörter sind für sich genommen kein Qualitätsmerkmal.
Ein Änderungsauftrag sollte Ziel und zu erhaltende Anforderungen nennen. „Um ein Drittel kürzen“ legt ohne Prioritäten nicht fest, welche Angaben bleiben müssen. Lässt sich ein Drittel nicht verlustfrei streichen, müssen Inhalt oder Platzierung überdacht werden. „Wiederholung zum Volumen entfernen, Modell, Lieferumfang, Trocknungsbedingungen und Pflege erhalten“ ist ein überprüfbarer Auftrag. Passt nicht alles hinein, sind Platzierung oder Umfangsvorgabe zu ändern, statt unbemerkt eine Bedingung zu streichen.
Ein Hinweis auf fehlende Daten sollte auch den Arbeitsweg verändern. Ist das Verdünnungsverhältnis unbekannt, erzeugt eine neue Fassung keine Zahl. Die Nachfrage beim Datenverantwortlichen und das Festhalten des Unbekannten lösen einen anderen Teil der Aufgabe. Wiederholte Aufträge wie „genauer formulieren“ würden nur dieselbe Lücke erneut bearbeiten.
Die erneute Prüfung hat einen eigenen Umfang
Nach einer Änderung wird zuerst geprüft, ob der Hinweis erledigt ist, und anschließend, ob andere Anforderungen verletzt wurden. Bei einer kleinen Produktseite kann der gesamte Text erneut gelesen werden. In einer umfangreichen Bibliothek oder einem Katalog bestimmen Abhängigkeiten den Prüfumfang: Welche Aussagen verwenden den geänderten Fakt, wo wiederholt sich die Bedingung, und welche Kanäle erhalten diesen Textteil?
Eine solche Auswahl setzt vollständige Verknüpfungen voraus. Ist unbekannt, wo ein Wert verwendet wird, lässt sich die erneute Prüfung nicht sicher auf einen Absatz begrenzen. Die Historie von Datenherkunft und Umwandlungen hilft, betroffene Stellen zu finden; auch die Verknüpfungen selbst müssen korrekt gehalten werden.
Beide Fassungen und die Änderungsgrundlage werden aufbewahrt. So lässt sich eine Fehlerkorrektur von einer Faktenaktualisierung unterscheiden. Erlaubt ein neues Dokument eine andere Anwendung, ändern sich Dossier und zugehörige Texte. Bleibt das Dokument unverändert und entfernt die Redaktion eine Einschränkung zugunsten des Rhythmus, hat sich nur die Aussage geändert.
Die ausgelieferte Fassung wird nach allen Kürzungen und Formatierungen abschließend geprüft. Ein geprüfter Zwischenstand ersetzt diesen Schritt nicht: Die Ausgabe kann eine Bedingung abschneiden, Felder vermischen oder die Beschreibung einer anderen Variante einsetzen.
Womit eine Überarbeitungsrunde endet
Das Ausbleiben neuer Hinweise eines einzelnen Prüfers belegt keine vollständige Prüfung. Derselbe Fehler kann erneut übersehen worden sein. Deshalb werden die Abnahmebedingungen vorab bestimmt: sperrende Verstöße behoben, Pflichtangaben erhalten, strittige Fragen mit dem vorgesehenen Status versehen und die Endfassung am Veröffentlichungsort betrachtet. „Klärung erforderlich“ erlaubt keine Freigabe, wenn eine Pflichtwarnung oder eine andere Zulassungsbedingung betroffen ist.
Auch eine Grenze für automatische Versuche ist sinnvoll. Tauschen Redaktion und Prüfer immer wieder die ähnlichen russischen Verben „смыть“ und „отмыть“ (beide etwa „abwaschen“) aus, ohne Gegenstand und Zeitbedingung wiederherzustellen, wird ein weiterer Durchlauf ohne neue Daten den Streit kaum lösen. Der Prozess wechselt zur Klärung von Beleggrundlage, Bewertungsraster oder Auftrag. Das erreichte Limit bedeutet einen anderen Arbeitsweg, keine automatische Textfreigabe.
Bei Alfa endet die Runde mit einer Fassung, die die Pflege wiederherstellt und die Bedingungen zu Oberflächen und Trocknung erhält. Ob Käufer diese Fassung einer anderen korrekten Anordnung vorziehen, bleibt eine eigene Frage. Sie lässt sich nun als überprüfbare Hypothese formulieren — mit Daten, die sie stützen oder eine Neubewertung erfordern würden.
Quellen und Beleggrundlagen
- Ribeiro et al. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, 2020Funktionale Testarten und Erwartungen bei Änderungen der Eingabe. Die Produkttextpaare und das Abnahmeverfahren sind eine Adaption des Autors.
- Gardner et al. Evaluating Models’ Local Decision Boundaries via Contrast Sets, 2020Kleine, sinnvolle Änderungen zur Untersuchung von Entscheidungsgrenzen. Kein Nachweis für die Qualität unseres Verfahrens.
Quellen geprüft am 6. November 2026. Alfa, T500, die Fassungen und erwarteten Entscheidungen sind fiktive Lehrbeispiele. Ein automatischer Redakteur wurde mit diesen Paaren nicht getestet; Messergebnisse werden nicht behauptet.