Формула гипотезы
Опишите аудиторию, изменение, ожидаемый механизм и метрику. Например: «Для владельцев действующей рекламы конкретный результат аудита на первом экране снизит неопределенность и увеличит долю квалифицированных заявок». Такая формулировка объясняет, почему вариант должен сработать.
Если вы не можете назвать механизм, сначала проведите интервью или анализ записей сессий. Эксперимент не заменяет понимание проблемы.
Варианты без смешения причин
Сохраните одинаковыми макет, кнопки, форму и трафик, если проверяете оффер. Вариант B должен отличаться смыслом, а не одновременно цветом, фотографией, ценой и длиной страницы. Иначе результат нельзя перенести на следующий проект.
Проверьте оба варианта технически и распределяйте пользователей стабильно. Один человек не должен видеть разные версии при каждом визите.
- одна основная гипотеза;
- одинаковая скорость и работоспособность;
- стабильное распределение аудитории;
- единая настройка целей.
Метрика и длительность
Основная метрика должна быть близка к бизнесу: квалифицированная заявка, запись, заказ. Дополнительно смотрите микроцели для диагностики. Не объявляйте победу после первых двух обращений и не останавливайте тест в момент удобного результата.
Учитывайте недельный цикл, сезонность и рекламные изменения. Если трафика мало, вместо классического A/B-теста проведите последовательный качественный эксперимент и честно ограничьте силу вывода.
Разбор и документация
Сегментируйте результат по устройству, кампании и типу аудитории только после основной оценки. Большое число срезов повышает шанс найти случайную красивую разницу. Проверяйте, не объясняется ли эффект одним источником.
Запишите дату, версии, выборку, результат, качество лидов и решение. Даже отрицательный тест полезен, если команда не повторит ту же гипотезу через месяц под новым названием.