Vektorähnlichkeit und Fehler bei der semantischen Gruppierung

Zuerst die gesuchte Beziehung bestimmen

Für eine Fragenkarte legen wir als positives Label fest: Zwei Formulierungen benötigen bei gleichen wesentlichen Bedingungen dieselben Informationen, und ihre Antworten sind in beide Richtungen austauschbar. Diese Anforderung ist enger als ein gemeinsames Thema.

„Welches Nennvolumen hat T500?“ und „Wie viele Milliliter beträgt die Nennkapazität von T500?“ können derselben Aufgabe entsprechen. Die Frage „Wie viel wurde beim Versuch eingefüllt?“ betrifft eine andere Größe. Im Lehrdossier sind dies 450 ml gegenüber nominal 500 ml. Dass Produkt und Maßeinheit übereinstimmen, macht die Antworten nicht austauschbar.

Für die Dokumentensuche kann eine weitere Beziehung genügen: Ein Ausschnitt verdient eine Prüfung als möglicher Beleg. Zur Navigation lassen sich verschiedene Fragen unter „Temperaturerhalt“ zusammenfassen. Für die Berechnung der Abdeckung erfordert das Zusammenlegen ein anderes Kriterium. Diese Entscheidungen sollten getrennt gespeichert werden.

Die Definition der Beziehung bestimmt auch die Annotation des Kontrollsatzes. Bezeichnungen wie „ähnlich“ und „unähnlich“ ohne Bewertungsraster lassen jeden Redakteur eine eigene Aufgabe lösen. Die Schwellenwertabstimmung würde dann eine Zahl an uneinheitliche Entscheidungen anpassen.

Was zwischen Zeichenfolge und Bewertung liegt

Ein Modell wandelt Text in eine numerische Repräsentation um — einen Vektor. Eine gewählte Funktion vergleicht anschließend zwei Repräsentationen. Sentence Transformers bietet unter anderem Kosinusähnlichkeit, Skalarprodukt und abstandsbasierte Bewertungen. Ihre numerischen Skalen dürfen nicht vermischt werden.

Das Ergebnis gehört zu einer bestimmten Konfiguration: Modell, Sprache, Texteinheit und Eingabeaufbereitung. Auch der Kontext zählt. Ein knappes „Wie lange hält es?“ ohne benannten Gegenstand enthält nicht dieselbe Aufgabe wie eine vollständige Frage zum T500-Versuch bei einer bestimmten Temperatur.

Verwendet das Modell besondere Anweisungen oder unterschiedliche Aufbereitungen für Anfrage und Dokument, werden auch diese festgehalten. Andernfalls verändert ein wiederholter Vergleich die Aufgabenbedingungen. Wird das Ende eines langen Ausschnitts abgeschnitten, können Negation oder Vorbehalt bereits vor der Ähnlichkeitsberechnung verloren gehen.

Fachliche Datensätze aus der Sprachanalyse helfen, Parameter und Bedingungen zu bewahren, beweisen aber nicht automatisch Gleichwertigkeit. Sie können eine zusätzliche Prüfung stützen: Welche Zahl bezeichnet den Nennwert, auf welche Handlung bezieht sich eine Einschränkung und welcher Gegenstand ist gemeint?

Die Kosinusähnlichkeit richtig lesen

Für zwei von null verschiedene Vektoren ist die Kosinusähnlichkeit wie folgt definiert:

cos(u, v) = (u · v) / (‖u‖ × ‖v‖).

Im Zähler steht das Skalarprodukt, im Nenner das Produkt der Längen. Der Wert hängt vom Winkel zwischen den Richtungen ab. Sind beide Vektoren auf Einheitslänge normiert, ist der Nenner eins und die Kosinusähnlichkeit entspricht dem Skalarprodukt.

Der mathematische Wertebereich reicht von −1 bis 1. Null bedeutet senkrechte Richtungen im gewählten Raum. Ein negativer Wert ist nicht automatisch ein Widerspruch zwischen Texten; 0,9 bedeutet nicht ohne Weiteres eine 90-prozentige Wahrscheinlichkeit derselben Frage. Eine solche Interpretation würde ein eigenes Modell und dessen Prüfung verlangen.

Wir wählen die Einheitsvektoren A = (1; 0), B = (√3/2; 1/2), C = (1/2; √3/2). Ihre Winkel zur Horizontalen betragen 0°, 30° und 60°. Daher gilt cos(A, B) = cos(B, C) = √3/2 ≈ 0,866 und cos(A, C) = 1/2. Das ist reine Geometrie; den Punkten sind keine Texte zugeordnet.

Paarschwellenwert und Gruppenregel sind getrennte Einstellungen

In unserem Beispiel lassen sich alle Paare mit einem Kosinuswert über 0,8 verbinden und die Zusammenhangskomponenten des Graphen bilden. A, B und C liegen dann zusammen, obwohl A–C den Schwellenwert nicht überschreitet. Das Überschreiten eines Paarschwellenwerts ist nicht transitiv. Die Zugehörigkeit zu derselben Zusammenhangskomponente ist transitiv, bedeutet aber nicht, dass jedes Paar darin den Schwellenwert überschreitet.

Für einen Themenüberblick kann eine Kette nützlich sein: Zwischenthemen bilden einen zusammenhängenden Abschnitt. Bei austauschbaren Fragen kann sie hingegen unterschiedliche Antworten verdecken. Die entstandene Gruppe muss an der gewählten Anforderung geprüft werden; die Zahl ihrer inneren Verbindungen allein genügt nicht.

Verschiedene Algorithmen legen unterschiedliche Regeln fest. In der DBSCAN-Dokumentation begrenzt der Parameter eps die Nachbarschaft und nicht den maximalen Abstand zwischen sämtlichen Punkten eines Clusters. Das Ergebnis hängt außerdem von der Dichte und von min_samples ab. Unsere drei Punkte veranschaulichen eine Zusammenhangskomponente; eine Aussage über ihr Ergebnis bei beliebiger DBSCAN-Konfiguration wird hier nicht getroffen.

Bei kleinen Gruppen lassen sich alle Paare prüfen, Vergleiche mit einem Repräsentanten durchführen oder fachliche Beschränkungen anwenden. Jede Lösung hat eigene Fehlerquellen. Ein sehr allgemeiner Repräsentant kann die Unvereinbarkeit der äußersten Fragen verdecken. Die vollständige Paarprüfung ist aufwendiger und hängt ebenfalls von der Qualität des Bewertenden ab. Das gewählte Verfahren wird an Kontrollgruppen geprüft, auch an Ketten mit Übergängen zwischen Aufgaben.

Kandidatensuche und endgültige Annahme trennen

Bei großen Beständen ist es zweckmäßig, zunächst für jede Zeichenfolge eine begrenzte Kandidatenliste zu finden und anschließend die Paare genauer zu untersuchen. Die erste Stufe soll die benötigten Vergleiche finden, die zweite gute Entscheidungen über die einzelnen Paare ermöglichen. Die Kandidatenzahl wird aufgabengerecht gewählt; dabei wird geprüft, ob notwendige Fälle verloren gehen.

Beim Verfahren Retrieve & Re-Rank werden zunächst potenziell relevante Dokumente gefunden; danach bewertet ein Cross-Encoder die Anfrage gemeinsam mit jedem Kandidaten. Eine ähnliche Trennung für die Gruppierung von Fragen zu nutzen, ist unsere methodische Entscheidung. Ein relevantes Dokument und eine doppelte Frage bleiben unterschiedliche Beziehungen.

Gelangt die benötigte Zeichenfolge nicht in die Liste, kann deren Neusortierung sie nicht zurückholen. Deshalb wird der Recall der Kandidatensuche gesondert an annotierten Fällen geprüft. Ein gutes Ergebnis der zweiten Stufe auf den übergebenen Paaren beschreibt die Verluste der ersten nicht.

Bei der Annahme lassen sich fachliche Rollen und Bedingungen vergleichen oder trainierte Paarmodelle einsetzen. Im Cross-Encoder-Katalog werden STS, Relevanz und logische Beziehungen als unterschiedliche Aufgaben behandelt. Die Wahl eines Modells wegen einer bequemen Schnittstelle belegt ohne Prüfung seiner Aufgabe keine Gleichwertigkeit der Fragen.

Auch logisches Folgern kann gerichtet sein. Aus sechs Tuben folgt, dass Tuben vorhanden sind; aus ihrem Vorhandensein folgt jedoch keine Anzahl. Der symmetrische Kosinus unterscheidet diese Richtung nicht. Und selbst eine korrekte Folgerung relativ zum Ausgangstext beweist nicht die Wahrheit der ursprünglichen Produktangaben.

Den Schwellenwert anhand einer annotierten Aufgabe wählen

Die Auswahl beginnt mit einem Bewertungsraster und Beispielen. Redakteure entscheiden, welche Paare dieselbe Frage betreffen, halten wesentliche Bedingungen fest und klären Abweichungen. Der Satz enthält ähnliche Fragen mit unterschiedlichen Antworten und verschiedene Formulierungen derselben Aufgabe. Paare zu Frost und Raumtemperatur oder zu Nennvolumen und Versuchsfüllung werden neben gewöhnlichen Synonymen benötigt.

Das Material wird in Abstimmung und abschließende Prüfung aufgeteilt. Nahe Umformulierungen derselben Ausgangsaufgabe sollten im selben Teil bleiben, damit ein vertrauter Fall nicht auf beiden Seiten der Grenze erscheint. Wird eine Übertragung auf eine neue Kategorie oder Sprache benötigt, wird genau diese Übertragung gesondert geprüft.

BinaryClassificationEvaluator arbeitet mit annotierten Paaren und den Labels 0/1. Die Bedeutung eines Labels bestimmt jedoch die Aufgabe des Autors. Hier bedeutet die positive Klasse „dieselbe Antwortaufgabe“. In Artikel 09 bezeichnete die positive Klasse das Vorliegen eines Fehlers; dieselben Metrikformeln erhalten hier andere fachliche Bedeutungen.

Bei der Zusammenführung ist Precision der Anteil richtiger Übereinstimmungen unter den angenommenen Paaren; Recall ist der Anteil angenommener positiver Paare unter allen laut Referenz positiven Paaren des gewählten Prüfsatzes. Eine falsche Zusammenführung erzeugt ein zusätzliches positives Paar; eine übersehene Übereinstimmung eine negative Entscheidung für ein benötigtes Paar. Nullnenner und strittige Referenzlabels dürfen nicht hinter einer fertigen Quote verschwinden. Werden nur Paare aus der Kandidatensuche geprüft, gilt das Ergebnis für diese bedingte Auswahl. Zur Bewertung der gesamten Kette zählen auch positive Paare, die vor der Paarprüfung verloren gingen.

Der Schwellenwert wird im Abstimmungsteil anhand eines festgelegten Kriteriums gewählt. Beispielsweise lässt sich zuerst die zulässige Zahl falscher Zusammenführungen begrenzen und unter geeigneten Einstellungen nach mehr richtigen Übereinstimmungen suchen. Das Kriterium muss den Folgen entsprechen: Eine verlorene Unterscheidung zur Kompatibilität kann schwerer wiegen als eine zusätzliche Prüfung ähnlicher Fragen.

Bei unveränderten Bewertungen verkleinert ein höherer Schwellenwert die Menge angenommener Paare. Mit einer falschen Zusammenführung kann auch eine benötigte Übereinstimmung verschwinden. Die Änderung der Precision hängt von der Zusammensetzung der Fälle ab; eine Verschiebung des Schwellenwerts allein garantiert keine Verbesserung.

Nach der Auswahl wird die Konfiguration fixiert und am zurückgehaltenen Teil bewertet. Fehler verschiedener Kategorien und Bedingungen instabiler Bewertungen werden gesondert betrachtet. Ein geeigneter Schwellenwert für einen Satz wird dadurch nicht universell; die Abstimmung verwandelt den ursprünglichen Score nicht in eine Wahrscheinlichkeit der Richtigkeit.

Was nach der Gruppierung erhalten bleiben muss

Ein überprüfbares Ergebnis enthält die Ausgangsformulierungen, das Gruppenkriterium, die Hauptfrage, wesentliche Bedingungen, strittige Kandidaten und die Beleggrundlagen der Entscheidungen. Die innere Ähnlichkeit kann die Navigation unterstützen, ersetzt diese Informationen aber nicht.

Die Kontrolle umfasst mehrere Ebenen: Wurden benötigte Kandidaten gefunden, Paare richtig angenommen und Unterschiede der endgültigen Gruppe durch die Zusammenführungsregel bewahrt? Ohne diese Prüfung sagt die Gruppenzahl wenig über Qualität aus: Eine kürzere Liste kann die Beseitigung von Dubletten oder den Verlust wichtiger Fragen bedeuten.

Wird eine Kette vom Verdünnen frischer Farbe bis zur Wiederherstellung eingetrockneter Farbe gefunden, ist es sinnvoll, das gemeinsame Thema zu bewahren und die Antwortaufgaben zu trennen. Ein System muss nicht für jeden Zweck eine flache Aufteilung liefern. Die Ebene der Karte richtet sich danach, was anschließend gemessen oder geschrieben wird.

Die gefundenen Formulierungen gewährleisten auch keine Sichtbarkeit der Seite in der Suche. Suchkanäle beziehen Daten, wählen Ergebnisse und zeigen Antworten auf unterschiedliche Weise. Dafür müssen Zugänglichkeit der Seite, Struktur der Produktinformationen und Grenzen der Schlussfolgerungen aus Impressionen oder Zitierungen getrennt untersucht werden.