Словоформы, словосочетания и извлечение характеристик

Сохранить фрагмент вместе с его окружением

Для разбора возьмём три строки из условного досье набора «Альфа». Контекст документа устанавливает товар и назначение разделов: первая строка относится к применению краски, вторая — к комплекту, третья — к уходу за кистями.

Без окружения первая строка даже не называет товар и не содержит явного «подходит». Нельзя извлечь из неё артикул или уверенно приписать назначение любому соседнему изделию. Связь с заголовком, разделом и версией документа должна остаться частью основания.

Адрес записи может включать документ, редакцию, строку и границы исходного фрагмента. Для объёма недостаточно сохранить только «20»: нужен участок «6 туб по 20 мл», в котором видна распределённость величины. Для строки В комплекте 6 туб по 20 мл. без номера «20 мл» находится в диапазоне [21, 26), а контекст «6 туб по 20 мл» — в [12, 26). Здесь считаются символы с нуля, правая граница не включается; это адрес внутри сохранённой строки, а не номер байта файла. Для ухода нужен весь фрагмент с двумя временными условиями.

При обновлении файла прежние координаты могут измениться. Поэтому сохраняют и саму использованную версию, и цитату. Это продолжение работы с происхождением данных: адрес помогает проверить решение, но не делает исходный документ истинным.

Токены и леммы решают ограниченную задачу

Для второй строки вручную можно выделить «В», «комплекте», «6», «туб», «по», «20», «мл» и точку. Это один выбранный способ адресовать элементы. Иной инструмент может иначе обработать слитное «20мл» или специальный пробел; конкретные правила нужно знать до сопоставления результатов.

Леммы помогают соединять словоформы. В ручной иллюстрации «бумаги» сопоставляется с «бумага», «водой» — с «вода», «туб» — с «туба». Такая операция не связывает воду с уходом и не определяет объём одной тубы. Для этого потребуются отношения между элементами.

Документация spaCy описывает токенизацию, лемматизацию и синтаксический разбор как отдельные операции; токенизация в этой библиотеке сохраняет исходную строку. Результат зависит от выбранного языка, компонентов и модели. Это основание разделять слои обработки, а не гарантия верного извлечения товарных полей.

Нужно также отличать лемматизацию от предметного объединения действий. «Промыть» и «промывать» — разные видовые леммы. Их сопоставление с общей операцией ухода требует отдельного правила с сохранением исходной формы. В описании вида UD отдельно отмечена принадлежность славянских видовых пар к разным леммам.

Удаление служебных слов особенно опасно в нашей строке: «по» помогает различить объём единицы и всего комплекта, «до» удерживает временную границу. Для поискового индекса может быть допустимо одно представление, для проверки инструкции потребуется более полное.

Привязать величину до вычисления

В строке 2 число шесть относится к тубам. Конструкция «по 20 мл» задаёт объём каждой тубы. Предметная запись должна сохранить обе величины раздельно, даже если следующему этапу нужен только общий объём.

В UD отношение nummod описывает количественное уточнение существительного. Назначенная синтаксическая связь ещё не выполняет расчёт комплектности и не определяет назначение всех чисел документа. Число в коде модели может быть обозначением, а не величиной.

«6 туб общим объёмом 20 мл» задаёт другое распределение. «20 туб по 6 мл» снова даёт суммарные 120 мл, но описывает иной комплект. Поэтому сравнение только итогового объёма пропустит различие числа туб и объёма содержимого каждой.

Расчёт хранится как самостоятельный вывод: исходные 6 туб и 20 мл на тубу, операция умножения, результат 120 мл. Из него нельзя получить расход, число картин или дозировку разбавления. Эти вопросы потребуют других параметров.

В полном досье первой статьи действительно заданы шесть цветов. Здесь это другая запись с собственным основанием. Извлечение из выбранного фрагмента не должно незаметно заимствовать её из памяти, а затем выдавать за содержание строки 2.

Перейти от грамматики к предметным ролям

В первой строке «грунтованного» уточняет холст в выбранной интерпретации фрагмента. При разворачивании перечня нужны три записи: бумага; грунтованный холст; дерево. Копирование уточнения во все записи добавило бы условия для бумаги и дерева; удаление уточнения расширило бы утверждение о холсте.

Синтаксическое согласование и структура перечня помогают разбору, но не снимают все неоднозначности. В описании координации UD отмечено ограничение базового представления: оно не всегда различает зависимый первого элемента и общий зависимый всей группы. Предметная область действия может требовать дополнительной разметки.

В строке 3 действие — промыть. Кисти являются очищаемым предметом, вода — средством промывания. «После работы» и «до высыхания краски» относятся к времени действия; «сразу» уточняет первое условие. Состояние краски не становится свойством воды или кистей.

Метки case и obl описывают языковые отношения. Нельзя переименовать любой obl в «средство», а любой предлог — в «условие». Привязка предметной роли опирается на конструкцию, контекст и задачу извлечения.

Если заменить кисти одеждой, появится новая инструкция. Если заменить «до» на «после», изменится временная рекомендация. Найденные леммы «вода» и «краска» не позволяют восстановить утраченную связь. Приёмка должна смотреть на полную запись действия.

Как выглядит проверяемая запись

Для нашего фрагмента можно использовать следующие записи. Это авторский формат для объяснения метода; он не претендует на универсальную схему всех категорий.

У записи также сохраняются версия документа, область товара и способ получения: извлечено, нормализовано или вычислено. Исходная цитата остаётся доступной. Если соседний документ противоречит этой записи, новое отношение фиксируется отдельно, а не стирает прежнее основание без решения.

Неизвестное поле должно оставаться неизвестным. Допустимая доля воды для разбавления не появляется из наличия воды в инструкции по уходу. Для записи о разбавлении нужно другое предложение исходного досье; для дозировки в учебной «Альфе» данных нет.

Привести запись к одной форме, сохранив исходную

Если для той же тубы источник задаёт 0,02 л, можно получить 20 мл по правилу перевода единиц. Нормализованное значение полезно для сравнения, но рядом должны остаться исходные 0,02 л и предмет измерения. Перевод единиц не превращает объём одной тубы в объём набора.

Иная задача — распознавание текста изображения. В «2O мл» последний знак может быть буквой O вместо нуля. Исправление по предполагаемому виду строки не следует выдавать за прямое чтение достоверного числа. При сомнении нужен просмотр изображения или другой источник, а спорное распознавание хранится отдельно.

Код A6-20 не следует разбирать как вычитание, а «до 20 мл» — как точное значение 20 мл. Классификация фрагмента предшествует вычислению: идентификатор, равенство, диапазон и ограничение требуют разных записей. Слова «не более» и «не менее» должны сохраняться вместе с границей.

При обработке отрицания полезны языковые признаки, но они не заменяют область действия. В UD v2 прежняя универсальная связь neg удалена; отрицание представляется признаком Polarity=Neg с обычной синтаксической связью. Предметный анализ всё равно должен установить, отрицается ли пригодность, необходимость действия или иное свойство.

Форматное требование может оставаться буквальным. «Двадцать миллилитров» и «20 мл» способны передавать одну величину, но не совпадут по контракту точной строки. Результаты смысловой и буквальной проверок следует сохранять раздельно.

Неоднозначность становится результатом, а не скрытой догадкой

В реальном документе строка может потерять заголовок при извлечении из PDF или оказаться рядом с изображением другого варианта. Тогда грамматически аккуратная запись ещё не получает надёжной связи с товаром. Проблему нужно вернуть на этап восстановления документа и идентификации.

Не всякая неоднозначность снимается ближайшим словом. Если разрешение мойки следует после упоминания кружки и крышки, местоимение может допускать два объекта. В таком случае сохраняют кандидатов и вопрос на уточнение. Назначить свойство удобному объекту означало бы расширить исходные сведения.

Для нашего фрагмента контекст задаёт, что кисти — инструмент для краски. Изолированная лемма «кисть» не устанавливает это значение: слово может обозначать и часть руки. Предметная интерпретация должна быть связана с окружением, а не только со словарной формой.

Уверенность анализатора и достаточность основания — разные вещи. Даже устойчивое решение по языковой связи не доказывает истинности рекомендации производителя. Для публикации нужны также применимость к товару и проверка самого источника.

Проверить извлечение на сохранении и изменении смысла

Для приёмки задают ожидаемые записи до запуска системы. Сначала проверяют каждую привязку, затем всё утверждение вместе с условиями. Совпадение числа без правильного предмета не считается верным извлечением характеристики.

Эти варианты изменяют учебный вход и не дополняют исходное досье «Альфы». Принцип разных ожиданий для разных правок помогает обнаружить и нечувствительность к условию, и лишнее отклонение корректного перефразирования.

При оценке процесса нужно учитывать пропущенные сведения и добавленные без основания связи. Если система извлекла только простые числа и не обработала инструкцию, высокая точность оставшихся записей не описывает полноту разбора. Единицу подсчёта — поле, отношение или целое утверждение — определяют заранее.

На выходе остаются связанные с источником записи о применении, комплекте и уходе, а также отдельный расчёт общего объёма. Теперь их можно искать и сопоставлять с другими формулировками. Для такого сравнения понадобятся представления текста и мера близости; сама близость ещё не устанавливает, что два вопроса требуют одного ответа.