Метрики покрытия и качества исходных данных

Зафиксировать, что именно требуется раскрыть

Единицей выберем вопрос с существенными условиями. «Какой номинальный объём?» и «Сколько наливали при испытании?» относятся к разным величинам. Две записи вопроса о номинале с разными словами не должны автоматически становиться двумя пунктами плана.

Граница вопроса влияет на оценку. Широкое «что известно о температуре?» не определяет, какие сведения считать обязательными для зачёта; «какие условия и результат заданы в протоколе?» требует конкретного набора сведений. Нельзя менять формулировку после чтения удобного ответа и сохранять видимость прежнего показателя.

Перечень получает версию и связь с товаром. Для каждого пункта записывают цель, критерий полного ответа, вес и причину включения. Неприменимые вопросы исключают по установленному правилу, сохраняя причину. Отсутствие данных само по себе не делает вопрос неприменимым.

Вес обозначает согласованный приоритет внутри этого плана. Он не является вероятностью покупки или числом людей. Пересекающиеся частотности запросов нельзя складывать как независимые веса покупателей. Если данные спроса участвуют в выборе, способ их использования фиксируют отдельно.

Один учебный план и одно состояние текста

Возьмём пять вопросов T500. Веса 5, 4, 4, 3 и 4 выбраны только для расчёта; они не рекомендуют приоритеты всем продавцам термокружек. Их сумма равна 20. В исходном досье есть номинальные 500 мл, масса пустой кружки 280 г и разрешённая ручная мойка съёмной крышки.

Протокол описывает 450 мл напитка с начальной температурой 95 °C, закрытую кружку на всём шестичасовом интервале и воздух +20 °C; в конце температура напитка не ниже 60 °C. Сведений о посудомойке нет.

Зададим учебный фрагмент для оценки: «Номинальный объём T500 — 500 мл. Масса пустой кружки — 280 г. Испытание сохранения температуры проводили при температуре воздуха +20 °C. Сведений о мытье крышки в посудомоечной машине в доступных материалах нет». Он сообщает часть условий, но не выдаёт её за полный протокол.

Здесь оценивается данный фрагмент, а не вся библиотека и не готовая карточка из другой статьи. У каждого состояния есть проверяемое основание в явно заданном тексте.

Сначала назначить смысл нулю и единице

Для показателя достаточности данных обозначим d = 1, если подтверждённых сведений хватает для полного ответа на выбранный вопрос, и d = 0, если не хватает. Противоречия, частичные основания и неизвестность дополнительно сохраняются словами: один ноль не объясняет причину.

Для текста выберем строгую бинарную рубрику: a = 1 только для полного подтверждённого ответа с нужными условиями; a = 0 — для остальных состояний. В нашем плане единицу получают Q1 и Q2. Q3 остаётся частичным, Q4 отсутствует, для Q5 нет достаточного основания разрешения или запрета.

Ноль по Q5 не означает, что редактор должен придумать ответ. Честное обозначение неизвестности выполнено и полезно; оно учитывается отдельным признаком. Выбранный индекс измеряет наличие подтверждённого решения вопроса «разрешено ли мыть крышку в посудомоечной машине». Если вопрос звучит «есть ли в досье сведения о мойке крышки в посудомоечной машине?», критерий будет другим. Это уже другой план оценки.

Дробная шкала тоже возможна. Но «0,5 за частичность» требует заранее заданного смысла: какая именно часть раскрыта и почему ей присвоен такой вклад. Нельзя сначала выставить долю по впечатлению модели, затем представить её как объективно измеренную полноту.

Блокирующие нарушения проверяются отдельно. Если текст добавит неподтверждённую совместимость, средний балл покрытия не отменит условия допуска. Вес вопроса и его способность остановить публикацию — разные признаки.

Три показателя с разными знаменателями

Пусть w — вес вопроса, W — сумма всех весов выбранного плана. Для нашего примера W = 20. Обозначим готовность данных буквой D, полное покрытие — C, реализацию среди вопросов с достаточными данными — R.

D = Σ(w × d) / W = 16 / 20 = 80 %.

Данных хватает для Q1–Q4: 5 + 4 + 4 + 3 = 16. Знаменатель включает и Q5 с весом 4, хотя ответ для него неизвестен.

C = Σ(w × a) / W = 9 / 20 = 45 %.

Полные ответы Q1 и Q2 дают 5 + 4 = 9. Частичный протокол при выбранной бинарной рубрике не добавляет баллов, но виден отдельным статусом.

R = Σ(w × d × a) / Σ(w × d) = 9 / 16 = 56,25 %.

Последняя доля отвечает на другой вопрос: сколько реализовано среди пунктов, для которых данных достаточно. Её нельзя показывать под названием полного покрытия всех потребностей.

Как улучшить число, не улучшив текст

Удалим из плана Q5, для которого нет данных. Останется суммарный вес 16. Те же полные ответы Q1 и Q2 теперь дадут 9 / 16 = 56,25 % вместо 45 %. Готовность данных станет 100 %. Ни одного предложения не добавилось: изменилось основание подсчёта.

Условный показатель по готовым данным полезен, если назван прямо и показан рядом с полным планом. Проблема возникает при скрытой подмене знаменателя. То же происходит, когда из отчёта исчезают сложные варианты товара или вопросы, не получившие ответ.

Перечень может законно измениться: обнаружена новая задача, уточнена применимость или исправлена ошибка группировки. Тогда сохраняют причину и версию. Для сравнения двух редакций либо пересчитывают обе по согласованному набору, либо явно показывают, что показатели относятся к разным планам.

Веса также не подстраивают под понравившийся результат. Если после оценки увеличить вес удачно раскрытого номинала, доля вырастет без изменения содержания. Полезность нового приоритета нужно обосновать отдельно, а историю изменения сохранить.

Где расчёт перестаёт иметь определённое значение

Веса должны быть неотрицательными, их общая сумма — положительной. При пустом наборе или нулевой сумме D и C не вычисляются. Если вес вопросов с достаточными данными равен нулю, R также не определён. Произвольные 0 % или 100 % скрыли бы отсутствие основания для доли.

Оба признака оцениваются по одной версии досье и одним критериям достаточности ответа. При выбранной строгой рубрике полный подтверждённый ответ предполагает достаточность данных. Поэтому C не может превышать D. При ненулевой готовности выполняется и арифметическая проверка C = D × R: 0,8 × 0,5625 = 0,45. Это свойство данной схемы, а не правило для любых частичных шкал.

Сама разметка может ошибаться. Один оценщик посчитает упоминание +20 °C полным ответом на вопрос о протоколе, другой потребует заполнение, начальную температуру, режим закрытия, длительность и конечный результат. До расчёта надо согласовать состав ответа и разобрать такие расхождения.

Индекс не измеряет нахождение ответа. Все сведения могут быть в длинном недоступном блоке. Он также не измеряет поисковую видимость, долю довольных покупателей или эффект на покупки. Для этих задач нужны другие наблюдения.

Показатель должен подсказывать следующий шаг

По исходному плану T500 видно две разные очереди. Для Q3 и Q4 уже есть данные: можно дополнить протокол и ручную мойку крышки. Q5 требует уточнения у владельца сведений. Повторная генерация по прежнему досье не создаст разрешение или запрет мытья крышки в посудомоечной машине.

Если добавить полный ответ об уходе, вклад вырастет с 9 до 12 при том же W = 20: C станет 60 %, R — 75 %, D останется 80 %. Если затем корректно раскрыть весь протокол, C достигнет 80 %, R — 100 %. Эти изменения получены в учебном расчёте, а не в испытании текста на покупателях.

Получение нового документа по Q5 требует отдельного пересмотра данных и зависимых фраз, включая прежнее сообщение «сведений нет». Оно меняет условия работы редактора. История зависимостей помогает отличить такую перемену от качества новой редакции.

Для повторяемости сохраняют таблицу вопросов, веса, рубрику, статусы данных, проверяемый текст и основания зачёта. Спорные решения остаются видимыми. Тогда число можно воспроизвести и объяснить по отдельным строкам.

Последний вопрос относится к исполнителю рубрики: обнаруживает ли он неполный ответ и не засчитывает ли неподтверждённое обещание? Для этого нужно испытать самого оценщика на случаях с заранее проверенными решениями.