Abdeckungsmetriken und Qualität der Ausgangsdaten

Festlegen, was genau beantwortet werden muss

Als Einheit wählen wir eine Frage mit ihren wesentlichen Bedingungen. „Wie hoch ist das Nennvolumen?“ und „Wie viel wurde beim Versuch eingefüllt?“ betreffen verschiedene Größen. Zwei unterschiedlich formulierte Fragen zum Nennvolumen dürfen nicht automatisch zu zwei Planpunkten werden.

Die Abgrenzung einer Frage beeinflusst die Bewertung. Ein allgemeines „Was ist zur Temperatur bekannt?“ bestimmt nicht, welche Angaben für eine Anrechnung erforderlich sind; „Welche Bedingungen und welches Ergebnis nennt das Protokoll?“ verlangt einen konkreten Informationsumfang. Die Formulierung darf nicht nach der Lektüre einer bequemen Antwort geändert werden, während der Kennwert scheinbar derselbe bleibt.

Die Liste erhält eine Version und einen Produktbezug. Für jeden Punkt werden Ziel, Kriterium einer vollständigen Antwort, Gewicht und Aufnahmegrund festgehalten. Nicht anwendbare Fragen werden nach einer festgelegten Regel mit Begründung ausgeschlossen. Fehlende Daten allein machen eine Frage nicht unanwendbar.

Ein Gewicht bezeichnet eine vereinbarte Priorität innerhalb dieses Plans. Es ist weder eine Kaufwahrscheinlichkeit noch eine Personenzahl. Überlappende Suchhäufigkeiten dürfen nicht wie unabhängige Käufergewichte addiert werden. Fließen Nachfragedaten in die Auswahl ein, wird ihre Verwendung gesondert dokumentiert.

Ein Beispielplan und ein bestimmter Textstand

Wir betrachten fünf Fragen zu T500. Die Gewichte 5, 4, 4, 3 und 4 dienen allein der Berechnung; sie empfehlen keine Prioritäten für sämtliche Thermobecheranbieter. Ihre Summe ist 20. Das ursprüngliche Dossier nennt nominal 500 ml, eine Leermasse von 280 g und die erlaubte Handwäsche des abnehmbaren Deckels.

Das Protokoll beschreibt 450 ml Getränk mit anfänglich 95 °C, einen über die gesamten sechs Stunden geschlossenen Becher und Luft von +20 °C; am Ende beträgt die Getränketemperatur mindestens 60 °C. Zur Spülmaschine liegen keine Angaben vor.

Für die Bewertung legen wir diesen Beispieltext fest: „Das Nennvolumen von T500 beträgt 500 ml. Der leere Becher wiegt 280 g. Die Prüfung des Temperaturerhalts fand bei +20 °C Lufttemperatur statt. Die verfügbaren Unterlagen enthalten keine Angaben zur Reinigung des Deckels in der Spülmaschine.“ Er nennt einen Teil der Bedingungen, gibt diesen aber nicht als vollständiges Protokoll aus.

Bewertet wird dieser Ausschnitt, nicht die gesamte Bibliothek oder eine fertige Produktseite aus einem anderen Artikel. Jeder Zustand hat eine überprüfbare Grundlage im ausdrücklich festgelegten Text.

Zuerst die Bedeutung von null und eins festlegen

Für die ausreichende Datenbasis setzen wir d = 1, wenn die belegten Informationen für eine vollständige Antwort auf die gewählte Frage reichen, andernfalls d = 0. Widersprüche, Teilbelege und Ungewissheit werden zusätzlich in Worten festgehalten: Eine Null allein erklärt die Ursache nicht.

Für den Text wählen wir ein strenges binäres Raster: a = 1 nur für eine vollständige, belegte Antwort mit den erforderlichen Bedingungen; a = 0 für alle anderen Zustände. In unserem Plan erhalten Q1 und Q2 eine Eins. Q3 bleibt teilweise beantwortet, Q4 fehlt, und Q5 hat keine ausreichende Grundlage für Erlaubnis oder Verbot.

Die Null bei Q5 bedeutet nicht, dass die Redaktion eine Antwort erfinden soll. Die Ungewissheit wurde ehrlich benannt; das ist nützlich und wird durch ein eigenes Merkmal erfasst. Der gewählte Index misst eine belegte Entscheidung zur Frage „Darf der Deckel in die Spülmaschine?“. Lautete die Frage „Enthält das Dossier Angaben zur Reinigung des Deckels in der Spülmaschine?“, wäre das Kriterium ein anderes. Das wäre bereits ein anderer Bewertungsplan.

Auch eine abgestufte Skala ist möglich. „0,5 für eine Teilantwort“ benötigt jedoch eine vorab festgelegte Bedeutung: Welcher Teil ist beantwortet, und warum erhält er diesen Beitrag? Ein Anteil darf nicht zunächst nach dem Modelleindruck vergeben und anschließend als objektiv gemessene Vollständigkeit ausgegeben werden.

Blockierende Verstöße werden getrennt geprüft. Ergänzt der Text eine unbelegte Kompatibilität, setzt ein hoher mittlerer Abdeckungswert die Freigabebedingungen nicht außer Kraft. Das Gewicht einer Frage und ihre Fähigkeit, eine Veröffentlichung zu verhindern, sind unterschiedliche Merkmale.

Drei Kennzahlen mit unterschiedlichen Nennern

w bezeichnet das Gewicht einer Frage, W die Summe aller Gewichte des gewählten Plans. In unserem Beispiel ist W = 20. Die Datenabdeckung heißt D, die vollständige Antwortabdeckung C und der Umsetzungsgrad bei Fragen mit ausreichenden Daten R.

D = Σ(w × d) / W = 16 / 20 = 80 %.

Für Q1–Q4 reichen die Daten: 5 + 4 + 4 + 3 = 16. Der Nenner enthält auch Q5 mit Gewicht 4, obwohl dessen Antwort unbekannt ist.

C = Σ(w × a) / W = 9 / 20 = 45 %.

Die vollständigen Antworten auf Q1 und Q2 ergeben 5 + 4 = 9. Das teilweise beschriebene Protokoll bringt im gewählten binären Raster keine Punkte, bleibt aber als eigener Status sichtbar.

R = Σ(w × d × a) / Σ(w × d) = 9 / 16 = 56,25 %.

Der letzte Anteil beantwortet eine andere Frage: Wie viel wurde unter den Punkten umgesetzt, für die die Daten reichen? Er darf nicht als vollständige Abdeckung aller Bedarfe bezeichnet werden.

Die Zahl verbessern, ohne den Text zu verbessern

Entfernen wir Q5 ohne Daten aus dem Plan, bleibt ein Gesamtgewicht von 16. Dieselben vollständigen Antworten Q1 und Q2 ergeben nun 9 / 16 = 56,25 % statt 45 %. Die Datenabdeckung beträgt 100 %. Kein Satz ist hinzugekommen; geändert hat sich die Berechnungsgrundlage.

Eine bedingte Kennzahl für Punkte mit ausreichenden Daten ist nützlich, wenn sie ausdrücklich so bezeichnet und neben dem vollständigen Plan gezeigt wird. Problematisch ist der verdeckte Austausch des Nenners. Dasselbe geschieht, wenn schwierige Produktvarianten oder unbeantwortete Fragen aus einem Bericht verschwinden.

Die Liste darf sich aus guten Gründen ändern: Eine neue Aufgabe wird erkannt, die Anwendbarkeit präzisiert oder ein Gruppierungsfehler korrigiert. Grund und Version werden dann festgehalten. Für den Vergleich zweier Fassungen werden entweder beide auf derselben abgestimmten Grundlage neu berechnet oder die unterschiedlichen Pläne ausdrücklich ausgewiesen.

Auch Gewichte dürfen nicht an ein gewünschtes Ergebnis angepasst werden. Wird nach der Bewertung das Gewicht des gut beschriebenen Nennvolumens erhöht, steigt die Quote ohne Inhaltsänderung. Der Nutzen der neuen Priorität muss eigens begründet und die Änderungshistorie bewahrt werden.

Wann die Berechnung nicht mehr definiert ist

Gewichte müssen nichtnegativ sein, ihre Gesamtsumme positiv. Bei einer leeren Menge oder der Summe null werden D und C nicht berechnet. Ist das Gewicht der Fragen mit ausreichenden Daten null, ist auch R undefiniert. Beliebige 0 % oder 100 % würden die fehlende Berechnungsgrundlage verbergen.

Beide Merkmale werden an derselben Dossierversion und mit denselben Kriterien für ausreichende Antworten bewertet. Im strengen Raster setzt eine vollständige belegte Antwort ausreichende Daten voraus. Daher kann C nicht größer als D sein. Bei einer Datenabdeckung ungleich null gilt auch die Rechenkontrolle C = D × R: 0,8 × 0,5625 = 0,45. Dies ist eine Eigenschaft dieses Schemas und keine Regel für beliebige Teilpunkteskalen.

Die Annotation selbst kann fehlerhaft sein. Ein Bewertender hält die Angabe +20 °C für eine vollständige Protokollantwort, ein anderer verlangt Füllmenge, Anfangstemperatur, Verschlusszustand, Dauer und Endergebnis. Vor der Berechnung müssen der Antwortumfang abgestimmt und solche Abweichungen geklärt werden.

Der Index misst nicht die Auffindbarkeit der Antwort. Alle Angaben können in einem langen, schwer zugänglichen Block stehen. Ebenso wenig misst er Suchsichtbarkeit, den Anteil zufriedener Käufer oder den Einfluss auf Käufe. Dafür sind andere Beobachtungen erforderlich.

Eine Kennzahl soll den nächsten Schritt erkennen lassen

Der ursprüngliche T500-Plan zeigt zwei verschiedene Arbeitslisten. Für Q3 und Q4 sind Daten vorhanden: Protokoll und Handwäsche des Deckels können ergänzt werden. Q5 verlangt eine Klärung beim Datenverantwortlichen. Eine erneute Generierung auf Grundlage desselben Dossiers erzeugt keine Erlaubnis und kein Verbot der Spülmaschinenreinigung des Deckels.

Mit einer vollständigen Pflegeantwort steigt der Beitrag von 9 auf 12 bei unverändertem W = 20: C wird 60 %, R 75 %, D bleibt 80 %. Wird anschließend das gesamte Protokoll korrekt wiedergegeben, erreicht C 80 % und R 100 %. Diese Änderungen stammen aus einer Beispielrechnung, nicht aus einem Textversuch mit Käufern.

Ein neues Dokument zu Q5 verlangt eine gesonderte Prüfung der Daten und abhängigen Formulierungen, einschließlich der bisherigen Mitteilung „keine Angaben vorhanden“. Es verändert die Arbeitsbedingungen der Redaktion. Die Abhängigkeitshistorie hilft, diesen Wechsel von der Qualität einer neuen Textfassung zu unterscheiden.

Für Wiederholbarkeit werden Fragentabelle, Gewichte, Raster, Datenzustände, geprüfter Text und Anrechnungsgrundlagen gespeichert. Strittige Entscheidungen bleiben sichtbar. Die Zahl lässt sich dann reproduzieren und zeilenweise erklären.

Die letzte Frage betrifft die Anwendung des Rasters: Erkennt der Bewertende Teilantworten, und rechnet er unbelegte Versprechen nicht an? Dafür muss man den Bewertenden selbst prüfen — anhand von Fällen mit vorab geprüften Entscheidungen.