Слова совпадают, смысл меняется

Что остаётся после разбиения на слова

Разбор начинается с решения о границах. В строке есть слова, числа, знаки умножения, единица измерения, пунктуация. Их можно выделить как отдельные элементы — токены. Способ разбиения зависит от правил инструмента: дефис в обычном слове, артикуле A6-20 и числовом диапазоне выполняет разные функции.

Токенизация даёт адресуемые участки исходной строки. Теперь можно показать, откуда взято число, какой фрагмент назван моделью и где встретилось отрицание. Но сама последовательность элементов ещё не сообщает, что измеряли.

Следующий вид обработки — приведение словоформ к леммам. «Колёсами» и «колёс» можно сопоставить с «колесо». Это помогает находить близкие выражения, не перечисляя каждую форму вручную. Предлоги «с» и «без» при этом должны оставаться доступными: они меняют отношение к предмету.

В документации spaCy токенизация, лемматизация и синтаксический разбор описаны отдельно. Это разные операции конкретной библиотеки, а не обязательный универсальный маршрут любой системы. Для нашей задачи полезно сохранять результаты раздельно: нормализованные формы для поиска совпадений, исходный текст и связи — для проверки утверждения.

Особого обращения требуют названия и коды. «Model 8 Pro» нельзя сократить до «Model 8» ради нормализации, если Pro обозначает другую модификацию. Название материала также нельзя заменять более широким понятием без проверки. Иначе обработка, призванная облегчить сопоставление, начнёт объединять разные объекты.

Какие связи нужно восстановить

В учебной фразе «Размеры чемодана измерены с установленными колёсами: 55 × 40 × 20 см» нужно установить как минимум предмет, параметр, числовое значение, единицу и способ измерения. Числа относятся к размеру, размер — к чемодану, а выражение «с установленными колёсами» уточняет измеряемую конфигурацию. Сокращённое «чемодан с колёсами» могло бы называть только тип предмета; поэтому для опорного разбора взята явная запись о способе измерения.

При синтаксическом разборе устанавливаются связи между словами. В разметке Universal Dependencies служебный показатель отношения, в частности предлог, может связываться с соответствующим существительным. Однако синтаксическая метка сама по себе ещё не означает «условие измерения». Эту предметную роль нужно определить из конструкции и задачи.

Такая запись уже позволяет сформулировать точные вопросы к данным. Входят ли ручки? Какому числу соответствуют высота, ширина и глубина? Три значения без подписей не дают права автоматически назначить оси. Если это существенно для сравнения, требуются пояснение источника или схема измерения.

Одновременно приходится учитывать составные выражения. «Ручная кладь» обозначает контекст перевозки, а не два независимых свойства «ручной» и «кладь». В другой категории «сухой остаток» — параметр состава, а не инструкция высушить остатки. Словарь предметной области помогает обнаружить такие конструкции, но его применение тоже требует контекста.

Где действует отрицание

Пара «подходит для ткани» и «не подходит для ткани» почти совпадает по словам. Для выбора товара различие решающее. При преобразовании текста отрицание должно оставаться связанным с тем свойством, которое оно изменяет.

Задача сложнее, чем поиск частицы «не». «Масса не более 2 кг» и «масса не менее 2 кг» содержат одинаковые предмет, число и единицу, но задают противоположные границы диапазона. Нельзя хранить обе записи как простое «масса: 2 кг».

В выражении «не требует предварительного грунтования» отрицание относится к необходимости действия. Это другое утверждение, чем «не подходит для грунтованной поверхности». Совпадение корня «грунт» не делает их взаимозаменяемыми.

Даже отрицательный совет не всегда равен запрету: «не рекомендуется» нельзя без уточнения усиливать до «запрещено». В обратную сторону также легко потерять смысл. Если источник говорит «не допускается», мягкая редакция «лучше избегать» меняет силу ограничения.

В UD v2 отрицание представляется признаком Polarity=Neg вместе с обычной синтаксической связью; отдельное универсальное отношение neg из прежней версии удалено. Такой признак помогает сохранить языковую информацию. Область действия и предметный смысл всё равно требуют разбора конструкции, а верность самого запрета — проверки источника.

Условие нельзя отделить от результата

В первой статье уже разобрано, как мытьё кистей до высыхания превратилось в общее обещание о смывании краски. На уровне языка здесь потерялись очищаемый предмет и временная граница. Для подобной инструкции недостаточно сохранить слова «вода» и «краска».

Время может относиться к разным событиям: началу работы, высыханию поверхности, полному отверждению или допустимому хранению. Одно и то же «через 30 минут» без связи с событием нельзя использовать как готовый ответ на вопрос «когда можно пользоваться изделием».

Числовые ограничения нужно читать целиком. «До 30 минут», «не менее 30 минут» и «около 30 минут» различаются характером границы и определённостью. Сохранённое число ещё не означает сохранённую рекомендацию.

Значение имеют и слова возможности, необходимости и условия. «Можно установить на стену при использовании крепления X» не подтверждает, что крепление входит в комплект. «Требуется крепление X» не означает, что подойдёт любое крепление того же внешнего вида. Каждая дополнительная связь нуждается в основании.

При извлечении стоит сохранять условие рядом с соответствующим действием. Отдельный общий список ограничений удобен для поиска, но без адресации становится неясно, к чему относится каждое из них. Если в абзаце описаны два режима работы, условие одного режима нельзя автоматически распространять на другой.

К чему относится «её»

«Кружка поставляется с крышкой. Её можно мыть в посудомоечной машине». Обе названные вещи женского рода. Ближайшее существительное даёт кандидата на связь, но само по себе не гарантирует, что автор говорил именно о крышке.

Для рабочего досье различие существенно: разрешение для крышки не подтверждает разрешение для кружки и наоборот. Без дополнительного контекста нужно сохранить неоднозначность или запросить уточнение. Подставить удобный предмет — значит добавить смысл, которого текст однозначно не сообщает.

В других конструкциях связь бывает яснее. «В комплекте два контейнера. Каждый вмещает 500 мл» связывает объём с одним контейнером. Суммарный литр получается отдельным расчётом. Если местоименную связь не восстановить, можно ошибочно записать 500 мл как объём всего комплекта.

Помогают подписи, структура списка, соседний абзац и предметная согласованность. При этом окружающий текст тоже может содержать ошибку. Анализатор должен различать «так, вероятно, связан текст» и «это свойство подтверждено для товара».

Запись, по которой можно проверить разбор

После обработки должна оставаться возможность вернуться к исходной фразе. Для примера с чемоданом рабочее представление может выглядеть так:

Это предлагаемая предметная структура, не универсальная схема данных. Для одежды понадобятся другие параметры, для расходного материала — условия нанесения и расхода. Общим остаётся требование сохранить отношения, от которых зависит ответ.

Один из способов обнаружить ошибку — сформулировать утверждение заново по извлечённым данным и сравнить его с источником. Отдельно нужно проверить, правильно ли связаны предмет, параметр и условие. Обратная формулировка «внешние габариты с колёсами и ручками» здесь уже добавила бы ручки. «Подходит для любой ручной клади» добавило бы ещё и универсальную совместимость.

Проверка должна охватывать как пропуски, так и лишние связи. Система может верно выделить все слова и при этом соединить условие с другим предметом. Поэтому удобен разбор конкретного расхождения: исходный фрагмент, полученная связь и требуемое уточнение.

Вопрос «какой размер с колёсами?» и подпись «габариты без выступающих частей» относятся к близкой теме. Прежде чем использовать подпись как ответ, нужно выяснить, какие части исключены из измерения. От этого зависит, можно ли объединить формулировки в одну группу или для них потребуются отдельные ответы.