Wortformen, Wortgruppen und die Extraktion von Produkteigenschaften

Den Ausschnitt zusammen mit seinem Kontext bewahren

Wir untersuchen drei Zeilen aus dem fiktiven Dossier zum Set Alfa. Der Dokumentkontext legt das Produkt und den Zweck der Abschnitte fest: Die erste Zeile betrifft die Verwendung der Farbe, die zweite den Lieferumfang, die dritte die Pinselpflege.

Ohne Kontext nennt die erste Zeile nicht einmal das Produkt und enthält kein ausdrückliches „geeignet“. Aus ihr lässt sich weder eine Artikelnummer gewinnen noch der genannte Verwendungszweck zuverlässig einem benachbarten Produkt zuweisen. Die Verbindung zu Überschrift, Abschnitt und Dokumentversion muss Teil der Beleggrundlage bleiben.

Eine Fundstellenangabe kann Dokument, Fassung, Zeile und Grenzen des ursprünglichen Ausschnitts umfassen. Beim Volumen genügt „20“ allein nicht: Benötigt wird «6 туб по 20 мл» („6 Tuben mit je 20 ml“), weil darin die Verteilung der Menge erkennbar ist. In der russischen Originalzeile В комплекте 6 туб по 20 мл. (ohne Zeilennummer; Bedeutung: „Das Set enthält 6 Tuben mit je 20 ml“) liegt «20 мл» („20 ml“) im Bereich [21, 26), der Kontext «6 туб по 20 мл» dagegen in [12, 26). Gezählt werden Zeichen ab null; die rechte Grenze ist ausgeschlossen. Dies ist eine Position innerhalb der gespeicherten Zeichenfolge, keine Byteposition in der Datei. Für die Pflegeanweisung wird der gesamte Ausschnitt mit beiden zeitlichen Bedingungen benötigt.

Bei einer Aktualisierung der Datei können sich die bisherigen Koordinaten verschieben. Daher werden sowohl die verwendete Version als auch das Zitat aufbewahrt. Damit wird die Arbeit an der Datenherkunft fortgesetzt: Die Fundstelle hilft, eine Entscheidung zu überprüfen, beweist aber nicht die Wahrheit des Ausgangsdokuments.

Token und Lemmata erfüllen eine begrenzte Aufgabe

Die zweite Zeile lässt sich manuell in «В», «комплекте», «6», «туб», «по», «20», «мл» und den Punkt zerlegen. Die russischen Token entsprechen „in“, „Set“, „6“, „Tuben“, „je“, „20“ und „ml“. Dies ist eine gewählte Form der Adressierung. Ein anderes Werkzeug kann die zusammengeschriebene Form „20мл“ oder ein besonderes Leerzeichen anders behandeln. Seine Regeln müssen bekannt sein, bevor Ergebnisse verglichen werden.

Lemmata helfen, flektierte Formen miteinander zu verbinden. Im manuellen Beispiel wird russisch «бумаги» dem Lemma «бумага» („Papier“), «водой» dem Lemma «вода» („Wasser“) und «туб» dem Lemma «туба» („Tube“) zugeordnet. Jeweils die erste Form ist flektiert, die zweite die Wörterbuchform. Dieser Vorgang verknüpft Wasser weder mit der Pflege noch bestimmt er das Volumen einer Tube. Dafür werden Beziehungen zwischen den Elementen benötigt.

Die spaCy-Dokumentation beschreibt Tokenisierung, Lemmatisierung und syntaktische Analyse als getrennte Vorgänge; die Tokenisierung dieser Bibliothek bewahrt die ursprüngliche Zeichenfolge. Das Ergebnis hängt von Sprache, Komponenten und Modell ab. Dies begründet die Trennung der Verarbeitungsebenen, garantiert aber keine korrekte Extraktion von Produktfeldern.

Lemmatisierung ist außerdem von der fachlichen Zusammenfassung von Handlungen zu unterscheiden. Russisch «промыть» und «промывать» bezeichnen beide das Ausspülen, sind jedoch unterschiedliche aspektuelle Lemmata: perfektiv beziehungsweise imperfektiv. Ihre Zuordnung zu einem gemeinsamen Pflegevorgang verlangt eine eigene Regel, die die Ausgangsform bewahrt. Die UD-Beschreibung des Aspekts weist ausdrücklich darauf hin, dass slawische Aspektpaare unterschiedlichen Lemmata angehören.

Das Entfernen von Funktionswörtern ist in unserer Zeile besonders riskant: «по» („je“) hilft, den Inhalt einer Einheit vom Gesamtinhalt zu unterscheiden; «до» („vor“) bewahrt die zeitliche Grenze. Für einen Suchindex mag eine Darstellung genügen, während die Prüfung einer Anweisung eine vollständigere erfordert.

Eine Größe vor der Berechnung ihrem Gegenstand zuordnen

In Zeile 2 bezieht sich die Zahl sechs auf Tuben. Die Konstruktion «по 20 мл» („je 20 ml“) gibt das Inhaltsvolumen jeder Tube an. Der fachliche Datensatz muss beide Größen getrennt bewahren, auch wenn im nächsten Schritt nur das Gesamtvolumen benötigt wird.

In UD beschreibt die Relation nummod eine zahlenmäßige Bestimmung eines Substantivs. Eine zugewiesene syntaktische Beziehung berechnet noch keinen Lieferumfang und bestimmt nicht die Funktion aller Zahlen im Dokument. Eine Zahl in einem Modellcode kann eine Bezeichnung statt einer Größe sein.

«6 туб общим объёмом 20 мл» („6 Tuben mit insgesamt 20 ml“) legt eine andere Verteilung fest. «20 туб по 6 мл» („20 Tuben mit je 6 ml“) ergibt wiederum insgesamt 120 ml, beschreibt aber ein anderes Set. Ein Vergleich allein nach Gesamtvolumen übersähe daher die unterschiedliche Tubenzahl und den Inhalt jeder Tube.

Die Berechnung wird als eigene Schlussfolgerung gespeichert: Ausgangswerte sind 6 Tuben und 20 ml je Tube, der Vorgang ist die Multiplikation, das Ergebnis sind 120 ml. Daraus folgen weder Verbrauch noch Zahl möglicher Bilder noch eine Verdünnungsdosierung. Diese Fragen benötigen weitere Parameter.

Im vollständigen Dossier des ersten Artikels sind tatsächlich sechs Farben angegeben. Hier handelt es sich jedoch um einen anderen Datensatz mit eigenem Beleg. Die Extraktion aus dem ausgewählten Ausschnitt darf diese Information nicht unbemerkt aus dem Gedächtnis übernehmen und anschließend als Inhalt von Zeile 2 ausgeben.

Von der Grammatik zu fachlichen Rollen übergehen

In der gewählten Auslegung der ersten Zeile bestimmt russisch «грунтованного» („grundiert“) die Leinwand näher. Beim Auflösen der Aufzählung werden drei Datensätze benötigt: Papier; grundierte Leinwand; Holz. Eine Übertragung der Bestimmung auf alle Einträge fügte Bedingungen für Papier und Holz hinzu; ihre Entfernung erweiterte die Aussage zur Leinwand.

Syntaktische Kongruenz und die Struktur der Aufzählung unterstützen die Analyse, beseitigen aber nicht jede Mehrdeutigkeit. Die UD-Beschreibung der Koordination nennt eine Grenze der Basisdarstellung: Sie unterscheidet nicht immer zwischen einem vom ersten Element abhängigen Ausdruck und einem gemeinsamen abhängigen Ausdruck der gesamten Gruppe. Der fachliche Geltungsbereich kann zusätzliche Annotationen erfordern.

In Zeile 3 ist die Handlung das Ausspülen. Die Pinsel sind der zu reinigende Gegenstand, Wasser das Reinigungsmittel. «После работы» („nach der Arbeit“) und «до высыхания краски» („bevor die Farbe trocknet“) bestimmen die Zeit der Handlung; «сразу» („unmittelbar“) präzisiert die erste Bedingung. Der Zustand der Farbe wird dadurch nicht zu einer Eigenschaft des Wassers oder der Pinsel.

Die Labels case und obl beschreiben sprachliche Beziehungen. Nicht jedes obl lässt sich in „Mittel“ umbenennen und nicht jede Präposition in „Bedingung“. Die Zuordnung einer fachlichen Rolle stützt sich auf Konstruktion, Kontext und Extraktionsaufgabe.

Werden die Pinsel durch Kleidung ersetzt, entsteht eine neue Anweisung. Wird «до» („vor“) durch «после» („nach“) ersetzt, ändert sich die zeitliche Empfehlung. Die gefundenen Lemmata «вода» („Wasser“) und «краска» („Farbe“) können eine verlorene Beziehung nicht rekonstruieren. Die Abnahme muss den vollständigen Handlungsdatensatz betrachten.

So sieht ein überprüfbarer Datensatz aus

Für unseren Ausschnitt lassen sich die folgenden Datensätze verwenden. Dieses vom Autor gewählte Format erläutert die Methode; es beansprucht kein universelles Schema für alle Kategorien.

Zum Datensatz gehören außerdem Dokumentversion, Produktbezug und Gewinnungsart: extrahiert, normalisiert oder berechnet. Das Originalzitat bleibt zugänglich. Widerspricht ein weiteres Dokument diesem Datensatz, wird die neue Beziehung gesondert erfasst. Sie löscht die bisherige Beleggrundlage nicht ohne eine Entscheidung.

Ein unbekanntes Feld muss unbekannt bleiben. Der zulässige Wasseranteil zur Verdünnung folgt nicht daraus, dass Wasser in der Pflegeanweisung vorkommt. Für einen Datensatz zur Verdünnung wird ein anderer Satz des Ausgangsdossiers benötigt; zur Dosierung liegen für das fiktive Set Alfa keine Daten vor.

Die Darstellung vereinheitlichen und das Original bewahren

Nennt die Quelle für dieselbe Tube 0,02 l, lassen sich nach einer Umrechnungsregel 20 ml gewinnen. Der normalisierte Wert erleichtert Vergleiche; daneben müssen jedoch die ursprünglichen 0,02 l und der Messgegenstand erhalten bleiben. Eine Einheitenumrechnung macht aus dem Volumen einer Tube nicht das Volumen des Sets.

Eine andere Aufgabe ist die Texterkennung in einem Bild. In „2O мл“ („2O ml“) kann das letzte Zeichen der vermeintlichen Zahl der Buchstabe O statt einer Null sein. Eine Korrektur nach dem erwarteten Erscheinungsbild darf nicht als direktes Ablesen einer gesicherten Zahl ausgegeben werden. Im Zweifel sind das Bild oder eine weitere Quelle zu prüfen; das strittige Erkennungsergebnis wird getrennt aufbewahrt.

Der Code A6-20 darf nicht als Subtraktion gelesen werden, «до 20 мл» („bis zu 20 ml“) nicht als genauer Wert von 20 ml. Vor der Berechnung wird der Ausschnitt klassifiziert: Kennung, Gleichheit, Bereich und Grenze benötigen unterschiedliche Datensätze. «Не более» („höchstens“) und «не менее» („mindestens“) müssen zusammen mit dem Grenzwert erhalten bleiben.

Sprachliche Merkmale helfen bei der Verarbeitung von Negation, ersetzen aber nicht deren Geltungsbereich. In UD v2 wurde die frühere universelle Relation neg entfernt; Negation wird durch das Merkmal Polarity=Neg mit einer gewöhnlichen syntaktischen Beziehung dargestellt. Die fachliche Analyse muss weiterhin bestimmen, ob die Eignung, die Notwendigkeit einer Handlung oder eine andere Eigenschaft verneint wird.

Eine Formatvorgabe kann weiterhin wörtlich gelten. Russisch «двадцать миллилитров» („zwanzig Milliliter“) und «20 мл» („20 ml“) können dieselbe Größe ausdrücken, erfüllen aber nicht dieselbe Vorgabe einer exakten Zeichenfolge. Die Ergebnisse semantischer und wörtlicher Prüfungen sollten getrennt gespeichert werden.

Mehrdeutigkeit als Ergebnis festhalten, statt stillschweigend zu raten

In einem realen Dokument kann eine Zeile bei der PDF-Extraktion ihre Überschrift verlieren oder neben dem Bild einer anderen Variante stehen. Dann besitzt auch ein grammatisch sauberer Datensatz noch keine verlässliche Produktzuordnung. Das Problem muss zur Rekonstruktion und Identifizierung des Dokuments zurückgegeben werden.

Nicht jede Mehrdeutigkeit lässt sich durch das nächstgelegene Wort auflösen. Folgt eine Wascherlaubnis auf die Erwähnung von Becher und Deckel, kann ein Pronomen zwei Bezugsgegenstände zulassen. In diesem Fall werden die Kandidaten und eine Rückfrage festgehalten. Die Eigenschaft dem bequemeren Gegenstand zuzuweisen, würde die Ausgangsinformation erweitern.

In unserem Ausschnitt legt der Kontext fest, dass Pinsel Werkzeuge für Farbe sind. Das isolierte russische Lemma «кисть» legt diese Bedeutung nicht fest: Das Wort kann auch die Hand als Körperteil bezeichnen. Die fachliche Interpretation muss mit dem Kontext verknüpft sein, nicht allein mit der Wörterbuchform.

Die Konfidenz des Analysewerkzeugs und die ausreichende Beleggrundlage sind verschiedene Dinge. Selbst eine stabile Entscheidung über eine sprachliche Beziehung beweist nicht die Wahrheit einer Herstellerempfehlung. Für die Veröffentlichung sind auch die Anwendbarkeit auf das Produkt und eine Prüfung der Quelle selbst erforderlich.

Die Extraktion auf Bedeutungserhalt und Bedeutungsänderungen prüfen

Für die Abnahme werden die erwarteten Datensätze vor dem Systemlauf festgelegt. Zuerst wird jede Zuordnung geprüft, anschließend die gesamte Aussage mit ihren Bedingungen. Eine übereinstimmende Zahl am falschen Gegenstand zählt nicht als korrekte Extraktion einer Eigenschaft.

Diese Varianten verändern die Beispieleingabe und ergänzen nicht das ursprüngliche Dossier von Alfa. Das Prinzip unterschiedlicher Erwartungen bei unterschiedlichen Änderungen hilft sowohl eine fehlende Reaktion auf Bedingungen als auch die unnötige Ablehnung korrekter Umformulierungen zu erkennen.

Bei der Prozessbewertung sind ausgelassene Informationen und unbelegt hinzugefügte Beziehungen zu berücksichtigen. Extrahiert das System nur einfache Zahlen und verarbeitet die Anweisung nicht, beschreibt eine hohe Präzision der verbleibenden Datensätze nicht die Vollständigkeit der Analyse. Die Zähleinheit — Feld, Beziehung oder gesamte Aussage — wird vorab festgelegt.

Am Ende stehen quellengestützte Datensätze zu Anwendung, Lieferumfang und Pflege sowie eine getrennte Berechnung des Gesamtvolumens. Sie können nun gesucht und mit anderen Formulierungen verglichen werden. Dafür werden Textrepräsentationen und ein Ähnlichkeitsmaß benötigt; die Ähnlichkeit allein belegt noch nicht, dass zwei Fragen dieselbe Antwort verlangen.