Что остаётся незамеченным при обычной проверке текста

Одна строка содержит несколько предметов проверки

Возьмём фразу «Кружка объёмом 500 мл сохраняет напиток горячим шесть часов и подходит для посудомоечной машины». В ней как минимум три утверждения. Отдельного решения требуют вместимость, результат сохранения температуры и способ ухода. Один общий ответ «в целом верно» скроет различия между ними.

В учебном досье T500 разрешена ручная мойка съёмной крышки, а сведений о посудомоечной машине нет. В протоколе: 450 мл напитка с начальной температурой 95 °C, закрытая кружка на протяжении шести часов, воздух +20 °C и конечная температура не ниже 60 °C. Поэтому номинальные 500 мл поддержаны, безусловное обещание шести часов требует исправления, а разрешение посудомойки не обосновано.

Объект проверки полезно хранить вместе с координатами в тексте и версией документа. Иначе замечание «условия потеряны во втором предложении» станет непонятным после перестановки абзацев. Для смысловой проверки также нужны выбранный товар, версия досье, вопрос и правила оценки.

Итог по утверждению и итог по странице различаются. Страница с одним верным числом может не отвечать на важные вопросы о совместимости. Проверка имеющихся утверждений не обнаружит всё отсутствующее содержание. Для этого нужна отдельная проверка вопросов и приоритетов карточки.

Что действительно установил каждый контроль

Проверка формата устанавливает, что данные можно принять: присутствуют обязательные поля, соблюдены типы, длина или разрешённая разметка. Проверка языка находит опечатки, несогласованность, неясные связи. Проверка оснований сопоставляет утверждение с применимыми сведениями. Каждая может быть полезной, но результат одной нельзя приписывать другой.

Буквальное требование также нуждается в точном определении. «В тексте должно быть обозначение T500» и «в тексте должно быть самостоятельное слово T500» задают разные поиски. Заранее решают, учитываются ли регистр, границы слова, переносы и неразрывные пробелы. Самостоятельная нормализация строки проверяющим может нарушить контракт точного совпадения.

Языковой контроль способен заметить отрицание, но не получает из него факт о товаре. «Крышку нельзя мыть в посудомоечной машине» грамматически корректно. По имеющемуся досье запрет столь же необоснован, как разрешение: отсутствующую информацию превратили в определённое правило.

Для найденного фрагмента стоит разнести результаты: отношение к основанию, применимость к товару, сохранность условий и достаточность для вопроса. Недостаточность основания не означает, что фраза обязательно ложна в действительности. Для публикации её всё равно может быть недостаточно; следующий шаг — уточнение или сужение утверждения, а не автоматическая замена на противоположное.

Наконец, проверяется доставленная страница. Атрибут «масса — 280 г» и пояснение «пустая кружка» могут разойтись по разным блокам или вариантам. Правильный исходный абзац не гарантирует правильного представления после выгрузки.

Замечание должно позволять перепроверить решение

Сравним два заключения. «Слишком смелое обещание, оценка 7/10» не объясняет, какое утверждение нарушило какое правило. «В фразе “тепло шесть часов” отсутствуют условия испытания; протокол относится к 450 мл, начальным 95 °C, воздуху +20 °C и закрытой кружке; в конце не ниже 60 °C» показывает предмет замечания.

Во втором случае можно открыть основание и проверить, действительно ли уточнения существенны и не находятся ли они уже рядом. Проверяющий тоже способен пропустить контекст. Поэтому запись должна включать цитату, используемый фрагмент досье, тип расхождения и предлагаемое действие. Ссылка на весь многостраничный документ без нужного участка усложняет такую работу.

Критичность определяется отдельно. Неверный вариант, неподтверждённая совместимость или потеря условия, меняющая пригодность, могут блокировать публикацию по принятой рубрике. Повтор одного преимущества или тяжёлая фраза обычно требуют редактуры другого уровня. Высокая оценка стиля не должна отменять установленную блокировку.

Общая оценка допустима как вспомогательный обзор, если известен её состав. Для решения о публикации нужны сами нарушения и правила допуска. Иначе несколько удачных абзацев компенсируют в среднем одно утверждение, из-за которого покупатель выберет неподходящий товар.

Модельный оценщик становится отдельным объектом испытания

Модели удобно поручить поиск расхождений между текстом и досье. Но развёрнутое объяснение решения ещё не показывает его правильности. Модель может выбрать не тот фрагмент, пропустить ограничение или обосновать замечание сведением, которого в предоставленных материалах нет.

В исследовании Zheng и соавторов о LLM-as-a-Judge изучены зависимость предпочтения от позиции ответа и склонность предпочитать избыточно длинные ответы в определённых условиях. При оценке двух редакций можно менять их порядок и смотреть, сохраняется ли решение. Устойчивость после перестановки — полезный контроль, но она сама по себе не доказывает верность.

Для товарной задачи требуется собственный набор случаев. В нём должны быть корректные краткие ответы, подробные ответы с ошибкой, допустимые расчёты, неизвестные параметры и похожие числа с разными ролями. Если набор состоит только из грубых выдумок, успех на нём мало говорит о способности заметить потерянное условие.

Проверяется конкретная конфигурация: модель, инструкция, доступные документы, способ их поиска и формат результата. Замена любого из этих элементов может изменить решения. Общее название модели не описывает весь процесс.

Человеческая разметка тоже нуждается в рубрике. Независимые редакторы сначала решают случаи по одинаковым правилам, затем разбирают расхождения. Если они по-разному понимают, что считать ошибкой, спор нельзя скрыть средним баллом. Иногда надо уточнить задание или пометить случай спорным, а не назначать эталон произвольно.

Два разных способа ошибиться при поиске ошибок

Положительным классом назовём «в утверждении есть ошибка по установленной рубрике». Проверяющий либо сигнализирует о ней, либо не выдаёт сигнал. Так можно отдельно посчитать пропуски и ложные тревоги. Единица здесь — утверждение, а эталон относится к заданному досье и правилам, не к полной истине о товаре.

По выбранной рубрике отсутствие сведений в досье само по себе не считается ошибкой описания. Ошибка возникает, если текст превращает этот пробел в категорическое разрешение, запрет или другое неподтверждённое обещание.

Зададим учебный набор из 20 утверждений: в восьми по эталону есть ошибка, двенадцать корректны. Придумаем результаты проверяющего: он обнаружил шесть из восьми ошибок и ошибочно пометил три корректные фразы как ошибки. Две ошибки остались без сигнала, а девять корректных утверждений не получили ошибочных замечаний. Эти числа выбраны для объяснения расчёта; испытание не проводилось. В учебных двадцати случаях отказов от оценки нет.

Доля верных тревог, precision, равна 6 / (6 + 3) ≈ 66,7 %. Из девяти замечаний шесть обоснованы. Полнота обнаружения, recall, равна 6 / (6 + 2) = 75 %: найдены шесть из восьми ошибок. Это стандартные определения метрик классификации, применённые к поиску нарушений.

Общая доля правильных решений составит (6 + 9) / 20 = 75 %. Она не показывает, какие именно ошибки остались. Если задать, что в наборе всего две критические ошибки и обе пропущены, полнота обнаружения в критической группе будет 0 из 2. Поэтому вместе с общими значениями нужны числа по типам и последствиям нарушений.

При нулевом знаменателе соответствующая метрика не определена. Если проверяющий вообще не выдал замечаний, нельзя молча записать ему 100 % precision. Если в выбранном срезе нет эталонных ошибок, этот срез не оценивает их обнаружение. Полезно публиковать исходные количества рядом с долями.

Вердикт «в досье недостаточно сведений» может быть правильным результатом проверки утверждения. Отказом здесь считается случай, когда оценщик не смог вынести предусмотренное рубрикой решение. Такой исход стоит сохранять отдельно. Если система переводит сложные случаи на ручной разбор, нужно показать их число и долю. Расчёт только по оставшимся лёгким случаям иначе создаст завышенное представление о работе всего процесса.

Что означает разрешение на публикацию

Для T500 решения можно записать без единого среднего балла: номинал 500 мл принят; номинал 450 мл исправить; результат испытания проверить вместе с условиями; утверждение о посудомойке передать на уточнение. Для важных вопросов, на которые нет ответа, отдельно указать пробел данных или содержания.

Решение о выпуске связывает результаты проверок с рубрикой допуска. У него есть конкретная версия текста, перечень просмотренных оснований и оставшиеся вопросы. Формулировка «проверено ИИ» такого содержания не сообщает. Ручная подпись без фиксированных оснований оставляет ту же проблему.

В небольшом наборе можно разобрать каждый случай. При большом объёме автоматический контроль помогает отбирать подозрительные фрагменты, а выборочная ручная проверка — находить пропуски среди принятых. Только просмотр отклонённых текстов не позволяет узнать, сколько ошибок прошло незамеченными.

Допуск действует для проверенной редакции и данных, на которых он основан. После сокращения или обновления источника решение нужно пересмотреть в затронутой части. Даже точное замечание «вернуть условие» ещё не гарантирует удачной правки: добавленный фрагмент может породить противоречие, а соседнее сокращение — удалить другое ограничение.