Редактор получил точное замечание: фраза «краски легко смываются после работы» не передаёт инструкцию по уходу за кистями. Он вернул кисти и условие «до высыхания», заодно сократил весь абзац. Уход стал точнее. Из соседних предложений исчезли условие грунтования холста и температура высыхания.

Такой результат нельзя принять только потому, что исходное замечание выполнено. Нужно проверить новое состояние текста. Вернёмся к учебному набору «Альфа» из первой статьи: теперь нас интересует история правки и сохранность уже правильных сведений.

Одно замечание, три версии абзаца

В вымышленном досье «Альфы» указаны бумага, грунтованный холст и дерево. Тонкий слой высыхает за 30 минут при +20 °C. Кисти нужно промыть водой сразу после работы, до высыхания краски. Комплект состоит из шести туб по 20 мл, но в разбираемом фрагменте комплект не обсуждается. Реальные свойства красок за этими условиями не стоят.

Исходный фрагмент · ошибка в уходе

Для бумаги, грунтованного холста и дерева. Тонкий слой высыхает за 30 минут при +20 °C. Краски легко смываются после работы.

Первые два предложения согласуются с досье. В третьем утрачен объект очистки, не указано состояние краски и добавлена оценка лёгкости. Поручение на исправление относится именно к этому утверждению.

После сокращения · уход исправлен, условия потеряны

Для бумаги, холста и дерева. Высыхают за 30 минут. Кисти промывайте водой сразу после работы, до высыхания краски.

Задача по уходу выполнена. Однако новая версия снимает указанное в досье условие грунтования и оставляет время высыхания без привязки к слою и температуре. Это регрессии: при изменении текста потеряны ранее сохранённые требования. Хорошо выполненная локальная правка не компенсирует их.

Редакция с сохранёнными условиями

Для бумаги, грунтованного холста и дерева. Тонкий слой высыхает за 30 минут при +20 °C. Кисти промывайте водой сразу после работы, пока краска не высохла.

Здесь исправлено спорное утверждение и сохранены условия двух соседних. Это решение для данного фрагмента. Полнота карточки и согласованность остальных полей требуют своих проверок.

Сравнивать приходится смысл, а не число изменённых слов

Обычное сравнение версий покажет удалённые слова. Для приёмки полезно дополнительно выписать, какое содержание они удерживали. «Грунтованный» ограничивает поверхность; «тонкий» и «при +20 °C» задают условия времени. Слово «легко», напротив, вводит оценку, которой в досье нет.

У каждой правки можно спросить: какое утверждение появилось, исчезло, сузилось или расширилось? После замены «пока краска не высохла» на «после высыхания» сохранится почти вся лексика, но изменится инструкция. После замены «6 туб по 20 мл» на «шесть туб по двадцать миллилитров» смысл количества может сохраниться, хотя изменённых знаков много.

Далее сверяется область действия. Если температуру перенесли в заголовок раздела, она может остаться понятной для всех следующих строк. Если её убрали в сноску, относящуюся к другой модели, формальное наличие «+20 °C» на странице уже не помогает. Проверять нужно связь условия с утверждением в готовом представлении.

Смысловое сравнение тоже проверяют по исходным фрагментам: если оно не заметило исчезнувшее «при +20 °C», его вывод о сохранности условий принимать нельзя.

После исправления ухода отдельно проверяются условие грунтованного холста и условия высыхания: тонкий слой, плюс20 градусов,30минут.
Рисунок 1. Методическая схема приёмки учебной правки. Устранение замечания и сохранение других условий проверяются отдельно; это не результат испытания автоматического редактора.

Для разных изменений нужны разные ожидания

Проверку повторяемого процесса удобно строить на небольших парах. Одна пара должна сохранять ответ, другая — требовать изменения решения. Иначе система, которая всегда принимает всё или всегда отклоняет всё, тоже покажется устойчивой.

В методике CheckList различаются минимальные функциональные проверки, проверки инвариантности и направленного изменения результата. Для товарного контроля это можно применить так: задать простой случай с известным решением, затем менять формулировку с сохранением смысла или менять значимое условие с заранее заданным ожиданием. Это наше применение исследовательской идеи.

Учебные пары для проверки редактора и оценщика
ИзменениеОжиданиеЧто проверяется
«6 туб по 20 мл» → «шесть туб по двадцать миллилитров»Сведения о количестве остаются подтверждёнными.Смысловая устойчивость при другой записи числа и единицы.
«До высыхания» → «пока краска не высохла» в инструкции о промывке кистей сразу после работыУсловие сохраняется.Перефразирование без потери временной границы.
«Для грунтованного холста» → «для холста» в отдельно проверяемом описанииНовая фраза требует замечания о расширении области.Чувствительность к удалению существенного условия.
Номинальный объём T500: «500 мл» → «450 мл»Подтверждённый параметр становится ошибочным.Различение номинала и заполнения в испытании.

Малое изменение не обязательно нейтрально. Работа Gardner и соавторов о contrast sets использует небольшие осмысленные изменения для исследования границ решения. В нашем примере удаление «грунтованный» должно изменить оценку, а замена записи числа словами — сохранить её.

Ожидание задают до прогона и сверяют с контекстом задачи. Если канал требует буквальную строку «20 мл», запись словами может сохранить смысл, но нарушить формат. Тогда смысловой контроль должен принять количество, а проверка буквального контракта — сообщить отдельное нарушение. Один вердикт для двух требований скроет причину.

Такие пары выявляют выбранные слабые места. Несколько удачных примеров не доказывают работу на всём каталоге. Набор расширяют случаями из реальных ошибок и независимыми примерами, чтобы проверка не свелась к запоминанию известных фраз.

Когда локальной замены недостаточно

Точечная правка удобна, когда ошибка локальна и соседний текст остаётся связным. В нашем фрагменте достаточно заменить предложение об уходе. Если ограничения рассыпаны по нескольким абзацам, та же стратегия может породить длинную цепь уточнений и противоречивых ссылок.

Иногда лучше перестроить раздел: отделить применение от ухода, назвать параметры, вынести сравнимые значения в характеристики. При этом полезно составить перечень содержания, которое должно сохраниться, и сверить его после перестройки. Малое число изменённых слов само по себе не является признаком качества.

Запрос на изменение должен называть цель и сохраняемые требования. «Сократить на треть» без приоритетов не определяет, какие сведения обязательно сохранить. Если убрать треть объёма без потерь не получается, придётся пересмотреть содержание или размещение. «Убрать повтор об объёме, сохранить модель, комплект, условия высыхания и уход» даёт проверяемую задачу. Если всё не помещается, нужно пересмотреть размещение или ограничение объёма, а не незаметно удалить условие.

По замечанию об отсутствии данных полезно менять и маршрут работы. Когда неизвестна дозировка разбавления, новая редакция не создаст число. Запрос у владельца данных и фиксация неизвестности решают другую часть задачи. Несколько повторных команд «сделать точнее» здесь будут перерабатывать один и тот же пробел.

Повторная проверка имеет собственный объём

После правки сначала проверяют, устранено ли замечание, затем — не нарушены ли сохранённые требования. Для небольшой карточки можно перечитать весь текст. В длинной библиотеке или каталоге объём повторного контроля определяют по зависимостям: какие утверждения используют изменённый факт, где повторяется условие, какие каналы получают этот фрагмент.

Такая выборочность требует полноты связей. Если неизвестно, где используется значение, безопасно ограничить повторную проверку только одним абзацем не получится. История происхождения и преобразования данных помогает найти затронутые места; правильность самих связей тоже надо поддерживать.

Сохраняют обе версии и основание изменения. Тогда можно отличить исправление ошибки от обновления факта. Если новый документ сообщает другое допустимое применение, изменяется досье и связанные тексты. Если документ прежний, а редактор убрал ограничение ради ритма, изменилось только утверждение.

Доставленная версия проходит финальный контроль после всех сокращений и форматирования. Проверенная середина процесса не заменяет эту точку: выгрузка способна обрезать условие, смешать поля или подставить описание другого варианта.

На чём заканчивается итерация

Отсутствие новых замечаний от одного оценщика не устанавливает полноту проверки. Он мог повторно пропустить ту же ошибку. Поэтому заранее определяют условия приёмки: блокирующие нарушения устранены, обязательные сведения сохранены, спорные вопросы получили предусмотренный статус и финальная версия просмотрена в месте публикации. Статус «требует уточнения» не разрешает выпуск, если открытый вопрос затрагивает обязательное предупреждение или другое условие допуска.

Полезен и предел автоматических попыток. Если редактор и проверяющий по кругу меняют «смыть» на «отмыть», не восстанавливая предмет и временное условие, следующий проход без новых данных вряд ли разрешит спор. Процесс переводят на разбор основания, рубрики или самой задачи. Достигнутый лимит означает смену маршрута, а не автоматическое принятие текста.

Для «Альфы» итерация заканчивается редакцией, в которой восстановлен уход и сохранены условия поверхностей и высыхания. Предпочтение покупателей между этой версией и иной корректной компоновкой остаётся отдельным вопросом. Теперь его можно сформулировать как проверяемую гипотезу, указав данные, которые поддержат её или заставят пересмотреть.

Источники и основания разбора

  1. Ribeiro et al. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, 2020Типы функциональных проверок и ожидания при изменении входа. Товарные пары и процедура приёмки — авторская адаптация.
  2. Gardner et al. Evaluating Models’ Local Decision Boundaries via Contrast Sets, 2020Небольшие осмысленные изменения для исследования границы решения. Не доказательство качества нашего процесса.

Источники проверены 6 ноября 2026 года. «Альфа», T500, редакции и ожидаемые решения учебные. Автоматический редактор на этих парах не испытывался; результаты измерений не заявляются.