Какие гипотезы о тексте выдерживают проверку

Гипотеза начинается с возможного возражения

«Сделать карточку лучше» не задаёт результат, который можно опровергнуть. Для проверки нужно назвать изменение, ожидаемый результат, условия и критерий, по которому гипотезу придётся пересмотреть. При этом не всякая проверка заканчивается простым «да» или «нет»: данных может не хватить.

Аналитическая гипотеза для T500: для вопросов о результате при +20 °C и на морозе достаточно одного и того же численного результата без разделения температурных режимов. В досье есть только испытание при +20 °C: 450 мл напитка с начальной температурой 95 °C находились в закрытой кружке шесть часов, конечная температура была не ниже 60 °C. Общий ответ, обещающий такой же результат на морозе, не обоснован.

Досье не позволяет применить измеренный результат к обоим режимам. Это основание сохранить различие вопросов, а не доказательство невозможности обсуждать их в одном разделе. Оно не устанавливает число зимних покупателей или спрос на отдельную модель. Границы вопроса проверяются по требуемым сведениям и условиям ответа, а не по продажам карточки.

Другую гипотезу придётся сформулировать отдельно: «В выбранном плане сравнения версия Б чаще позволяет без подсказки назвать +20 °C и верно указать, что результат на морозе неизвестен». Здесь нужны наблюдения за чтением страницы. Само наличие +20 °C в разметке ещё не отвечает на вопрос. Один контрпример способен опровергнуть универсальную трактовку; единичная неудача читателя ещё не опровергает предположение об улучшении в среднем.

Три вида проверки оставляют разные выводы

В аналитической проверке сравнивают трактовку с исходной фразой и контекстом, сохраняют альтернативы и ищут случаи, в которых предложенное объединение перестаёт работать. Проверка поискового намерения может потребовать разговора с пользователем. Частотность сама по себе намерение не доказывает.

В исследовании понимания фиксируют найденный ответ, его трактовку и путь поиска. В поведенческом исследовании наблюдают действия в заданном сравнении. Фраза участника «теперь понятнее» может помочь разобраться в интерфейсе. Она не заменяет измерение покупок, а покупка не доказывает, что все условия поняты верно.

Такие различия полезно сохранять и в отчёте. «В пяти учебных случаях оценщик различил режимы» и «выросла конверсия» требуют разных данных. Даже без намерения преувеличивать общий заголовок «гипотеза подтверждена» может скрыть, какой именно уровень проверен.

Сначала проверить, что человек прочитал

Для исследования подготовим две корректные страницы. В А полный протокол расположен в отдельном ясно названном разделе с заметной ссылкой. В Б тот же блок перенесён ближе к характеристикам. Номинальные 500 мл отделены от испытательных 450 мл в обеих версиях. Безусловное обещание «шесть часов на морозе» ни в одну не включается.

Задача участнику: «При какой температуре воздуха проверяли кружку и что этот результат говорит о прогулке на морозе?» Успешный ответ должен назвать +20 °C и границу сведений о морозе. Время поиска оценивают вместе с правильностью. Быстро найденный неверный ответ не выполняет задачу.

Нужно наблюдать, что человек открыл, на какие слова опирался и где сделал вывод. Наводящий вопрос «вы заметили ограничение рядом с температурой?» изменяет саму проверку. Если сравниваются варианты, способ их показа должен учитывать обучение: после первого протокола участник уже знает условия и может найти их во втором по памяти.

Небольшая целевая группа помогает обнаружить затруднения и сформулировать следующую правку. Она не даёт автоматически точной доли всех покупателей. Для оценки частоты ошибок или различия вариантов потребуются соответствующий отбор, объём и план сравнения. Сообщение «я бы купил» также остаётся заявленным намерением.

Допустим, блок начали находить, но участники по-прежнему считают 450 мл номинальной вместимостью. Тогда проверка выявила другую проблему: соседство и подписи параметров. Положительный результат по времени нельзя распространить на понимание содержания.

Как задать сравнение поведения

Если вопрос относится к покупке, нужен другой план. Отдельная поведенческая гипотеза: версия Б увеличит долю пользователей, купивших T500. Основу случайного сравнения, единицу распределения и планирование мощности разбирают Kohavi, Henne и Sommerfield. Для наших двух страниц можно выбрать следующий учебный дизайн.

Участвующий пользователь при первом подходящем посещении карточки случайно получает А или Б и остаётся в этой группе. Условия участия задаются до показа версии. Обе группы наблюдаются одновременно. Цена, доступность и остальные элементы страницы работают по одним правилам; изменения и сбои фиксируются.

Основную метрику можно определить как долю распределённых пользователей, купивших T500 в заранее выбранное окно наблюдения. Такая метрика проверяет изменение частоты покупок. Для гипотезы об ошибочном выборе нужен отдельный показатель, связанный с причиной ошибки; сама покупка или её отсутствие эту причину не устанавливают. Нужно явно записать, что считается покупкой и как объединяются повторные посещения. Не следует менять знаменатель на «прочитавших блок», если новая компоновка сама влияет на чтение: получится отбор по событию, которое зависит от варианта.

Показ версии и фактическая загрузка блока регистрируются для проверки работы эксперимента. Если Б не загрузилась у части назначенных пользователей, нельзя просто удалить их и сохранить прежнюю трактовку сравнения. Нужно выяснить причину и оценить, какие выводы ещё допустимы.

Защитные показатели выбирают заранее: например, ошибки загрузки и отмены или возвраты с нужным периодом наблюдения. Для каждого задают знаменатель. До запуска определяют окно покупки от назначения группы и период наблюдения возвратов от заказа или доставки. Итог подводят, когда нужный период завершился и для последних включённых участников. Доля возвратов среди заказов полезна для диагностики, но состав покупателей тоже может измениться; её нельзя автоматически читать как эффект на всех распределённых пользователей.

Если вместе с перемещением блока переписан заголовок и заменена фотография, эксперимент сравнивает этот пакет. Приписать результат одной строке условий без дополнительного сравнения нельзя.

Заранее решить, какой результат будет различим

До запуска нужно определить эффект, который имеет практический смысл, и спланировать достаточный объём наблюдений. Он зависит от исходной частоты события, вариативности, единицы анализа и выбранного метода. Универсального числа посетителей или срока для любой карточки нет; выбор объёма требует исходных допущений.

Слабый трафик может позволить обнаружить крупную проблему понимания, но не различить небольшой сдвиг покупок. Это разные задачи и разные требования к данным. Если нужный объём недоступен, корректно сузить исследовательский вопрос, а не объявлять малую выборку достаточной по удобству.

В итоговом анализе важны оценка разницы и её неопределённость, которую можно выразить доверительным интервалом. Отсутствие статистически значимого различия не доказывает нулевого эффекта. Широкий интервал может оставлять совместимыми с данными и полезное улучшение, и существенное ухудшение. Вывод «варианты равны» потребовал бы подходящего плана и заранее заданных границ практически несущественного различия.

Небольшой достоверно различимый сдвиг тоже не обязательно оправдывает внедрение. Его сопоставляют с затратами, защитными показателями и целями задачи. Эти критерии следует задавать до выбора понравившегося результата.

Наблюдать во время теста и выбирать победителя — разные действия

Microsoft ExP рекомендует проверять показатели по ходу эксперимента, чтобы находить сбои и ухудшения. Проверяют, соответствует ли фактическое соотношение групп запланированному. Неожиданное расхождение называют SRM — sample ratio mismatch; при его обнаружении причину выясняют до интерпретации эффекта. Обычное случайное различие численностей само по себе ещё не означает SRM.

При этом многократный поиск значимости и ранняя остановка требуют статистической процедуры, которая учитывает такой способ принятия решения. Дождаться первого удачного значения в обычном отчёте и остановить тест — не то же самое, что следовать заранее выбранному последовательному анализу.

Для учебной T500 это означает два отдельных правила: что делается при сбое показа или существенном ухудшении и когда оценивается основной результат. Историческая длительность тестов другой компании не заменяет наш план. Мониторинг помогает управлять исследованием, но не разрешает произвольно выбирать момент отчёта.

Что записать после проверки

Отчёт должен позволять восстановить сравнение: версии страниц, участников и условия включения, способ распределения, основную метрику, защитные показатели, окно наблюдения, нарушения плана и неопределённость результата. Неудачный или неопределённый исход сохраняется вместе с удачным.

Перенос условий может уменьшить покупки, если часть посетителей раньше ожидала непроверенного результата на морозе. Такой сценарий требует данных, но он показывает, почему рост конверсии не является единственным мыслимым признаком качества. Нужно сопоставить поведение с задачей и характером ошибок выбора.

Наблюдение «после обновления продажи выросли» полезно для выдвижения гипотез. Оно не исключает изменения цены, рекламы, сезона или состава посетителей. Если площадка не позволяет организовать корректное случайное сравнение, ограничение нужно оставить в выводе. Название A/B само по себе его не устраняет.

По результатам нашего учебного плана могли бы появиться три независимые записи: обоснована ли группировка вопросов; как участники нашли и поняли ответ; что удалось установить о поведении в сравнении версий. При переносе решения на каталог понадобится проверить применимость и сохранить условия, при которых получен результат.