Где заканчивается одна потребность и начинается другая

Что объединяет группу

Для подготовки карточки полезна группа формулировок, за которыми стоит достаточно узкий общий вопрос. Одно и то же название темы этого не устанавливает. В группе «вода» могут оказаться разбавление, уход за кистями, удаление пятна и стойкость готового покрытия.

Группировку следует проверять относительно задачи. Если нужен список тем для большой инструкции, «разбавление» подходит как раздел. Если нужно оценить полноту карточки, вопросы «чем разбавить» и «в какой пропорции» лучше учитывать отдельно: первый ответ не закрывает второй.

Для объединения нужно проверить, требуют ли формулировки одних и тех же сведений при одинаковых существенных условиях. Ответ, достаточный для одной, должен оставаться достаточным для другой. Важны предмет, состояние, действие и результат, который человек пытается получить. Развёрнутый абзац, отвечающий сразу на несколько вопросов, сам по себе не доказывает, что потребность одна.

Структура может быть иерархической: общая тема, отдельный вопрос, необходимые уточнения. Уровень группировки нужно выбрать до подсчёта покрытия. Иначе дробление или укрупнение групп будет менять итоговую оценку без изменения самого текста.

Близость помогает найти кандидатов

При большом числе строк сравнивать каждую пару вручную неудобно. Поиск близких формулировок позволяет сначала выделить кандидатов, а затем проверить их предметно. Для этого могут использоваться словари, леммы, правила и векторные представления.

В работе Sentence-BERT описан способ получать представления предложений и сравнивать их, в частности, косинусной мерой. Документация Sentence Transformers показывает вычисление оценок сходства между текстами. Такая оценка зависит от выбранной модели и меры. Она не является процентом одинакового смысла или вероятностью правильного объединения.

Полезно разделять два решения: «эти строки стоит сопоставить» и «эти строки допустимо считать одним вопросом». Близкие темы подходят для первого. Второе требует проверить различия, которые изменяют ответ.

Числовой порог нельзя выбирать только потому, что он красиво отделил несколько знакомых примеров. Нужны случаи из нужного языка и категории, включая отрицания, соседние задачи и неоднозначные формулировки. Изменение модели или способа подготовки текста может изменить оценки и потребовать повторной настройки.

В каталоге Cross-Encoder моделей отдельно представлены задачи сходства, дублирования вопросов, релевантности и логического отношения. Различие существенно: инструмент, находящий общую тему, не обязательно обучен проверять, нужен ли двум запросам один ответ.

Как цепочка расширяет группу

Попарный порог сходства может дать неожиданную итоговую группу. Представим, что мы соединяем все пары с косинусной близостью выше 0,8, а затем объединяем связанные строки. Если A близка к B, а B — к C, алгоритм может поместить все три в один компонент. Прямой близости A и C это не гарантирует.

Для проверки достаточно трёх единичных векторов на плоскости: A направлен под 0°, B — под 30°, C — под 60°. Их косинусные значения рассчитаны по углу между направлениями:

Это математическая иллюстрация, а не измерение запросов и не рекомендуемый порог. Она показывает, почему связь через промежуточную строку не заменяет проверку границ итоговой группы.

В практическом разборе так может возникнуть цепочка от штатного разбавления к изменению консистенции, а затем к восстановлению засохшего материала. Промежуточная формулировка связывает темы, но не делает инструкции взаимозаменяемыми. Для проверки группы полезно рассматривать её наиболее различающиеся вопросы и случаи, которые меняют действие покупателя.

Способ проверки зависит от выбранного алгоритма. Где-то контролируют все пары, где-то сравнивают с представителем и ограничениями группы, где-то требуют отдельного редакторского решения для спорных связей. Любой из этих вариантов нужно проверить на его собственных ошибках: представитель тоже может оказаться слишком общим.

Общая тема, общий вопрос и следование

Две фразы могут быть близки, но выражать несовместимые утверждения. «Подходит для ткани» и «не подходит для ткани» говорят об одном свойстве одного материала. Для проверки описания их нельзя зачесть как одинаковый ответ. Отрицание и его область должны сохраниться.

Бывает и направленная связь. Из «в наборе шесть туб» следует «в наборе есть тубы». Из наличия туб не следует их число. Косинусная близость симметрична: перестановка двух векторов не меняет значение. Поэтому одно такое число само по себе не представляет направление логического следования.

При группировке вопросов требуется ещё одно отношение — можно ли считать запросы дубликатами относительно выбранной задачи. «Чем разбавить?» и «Сколько воды добавить?» могут стоять рядом в инструкции, но запрашивают разные сведения. В карте потребностей оба вопроса нужно учитывать отдельно, если они значимы для выбора. Наличие подтверждённых ответов проверяется следующим шагом.

Для решения полезно зафиксировать, какое именно отношение ищется. Задание «объедини похожие» оставляет это на усмотрение исполнителя. Задание «найди формулировки одного вопроса о допустимом разбавителе для данного состава» уже задаёт предмет и границы.

Группа запросов ещё не группа товаров

Вопрос о разбавлении может быть общим для многих художественных красок. Ответ при этом зависит от конкретного состава. Смысловая группировка запросов не разрешает переносить рекомендацию одной модели на всю категорию.

Поэтому намерение и применимость полезно хранить как разные признаки. Первая запись описывает, что человек хочет узнать. Вторая — к какому товару или классу товаров относится возможный ответ и достаточно ли данных для его публикации.

Для учебного A6-20 вопрос «можно ли рисовать на ткани» остаётся значимым, хотя подтверждения пригодности нет. Его можно включить в карту потребностей и передать на уточнение. Включать ткань в положительное описание ради соответствия запросу нельзя.

Также нужно сохранять существенные уточнения внутри группы. Если собраны вопросы о хлопке, синтетике и стирке, общий заголовок «для ткани» не отменяет различий. Подтверждённый ответ только о хлопке не закрывает всю такую группу.

Две ошибки, которые приходится считать отдельно

Ложное объединение скрывает различия. Восстановление засохшего состава получает ответ о штатном разбавлении; полное отверждение — значение времени поверхностного высыхания. После этого генератор может написать гладкий текст, сохранив ошибочную структуру задания.

Чрезмерное дробление создаёт другую проблему. Несколько вариантов одного вопроса требуют одинаковых сведений, но считаются независимыми пунктами. В результате повторяются ответы, растёт объём задания и искажается оценка полноты.

Для проверки нужны примеры обоих типов и пограничные пары. «Чем развести акрил?» и «Чем разбавить акриловую краску?» — кандидаты на объединение при одинаковом составе и контексте. «Чем разбавить?» и «В какой пропорции?» — соседние, но не тождественные вопросы. «Как смыть с кисти до высыхания?» и «Как удалить высохшую краску с ткани?» различаются предметом и состоянием.

Решение стоит записывать вместе с основанием: какое различие сочли существенным, какой контекст использовали и что осталось неизвестным. Если формулировка неоднозначна, полезнее сохранить статус «нужно уточнение», чем принудительно распределить её по готовым группам.

Контрольный набор не должен состоять только из очевидных синонимов. Нужны похожие по словам вопросы с разными ответами и непохожие формулировки одной задачи. Ошибка на отдельной паре не описывает качество всей системы; она показывает случай, который нужно разобрать и включить в дальнейшую проверку.

Сохранить вопрос вместе с его границами

После группировки должна оставаться возможность найти исходные строки. Для каждой группы полезны главный вопрос, существенные условия, применимость, исключённые случаи и примеры формулировок. Укрупнённая тема хранится отдельно от вопросов, по которым будет оцениваться ответ.

Если несколько запросов объединены только ради уменьшения списка, полезность результата ещё не установлена. Проверка должна показать, что различия не изменяют требуемые сведения и не скрывают ограничения. В некоторых случаях правильным результатом будет разделение, а не более компактное дерево.

Для принятой группы фиксируется общий вопрос; спорные формулировки остаются кандидатами до уточнения. После разделения вопросов о разбавителе, пропорции и восстановлении засохшего состава у каждого появляется собственное требование к данным. Теперь нужно выяснить, какие ответы удаётся обосновать для выбранной краски.