Перед А/Б-тестом запишите одно проверяемое изменение, способ разделения кампаний и правило оценки обращений. Тогда результат поможет выбрать действие, даже если данных окажется недостаточно. Ниже разберем текущий инструмент Директа и протокол, который можно передать подрядчику до расходования бюджета.
Начните с одного решения для бизнеса
Сформулируйте вопрос, на который повлияет результат. Например: стоит ли заменить общий заголовок объявления описанием состава услуги, чтобы изменить стоимость принятого обращения. Зафиксируйте контрольный вариант А, изменение в варианте Б и событие, по которому сравните их. Условия хорошего эксперимента можно пересказать человеку, который не настраивал рекламу.
Фраза «проверим новую рекламу» оставляет слишком много свободы. Если в Б одновременно поменять заголовок, географию и посадочную страницу, итог относится ко всему этому набору. Отдельно определить вклад заголовка по такому сравнению нельзя. Когда проверяется целый набор изменений, так и назовите гипотезу, сохранив этот предел вывода в отчете.
Результат должен позволять принять действие: оставить А, перейти на Б или собрать дополнительные данные. Заранее определите, какое улучшение имеет коммерческий смысл. Небольшая разница может не покрывать стоимость подготовки нового предложения или дополнительных операций отдела продаж.
Выберите подходящий механизм сравнения
По действующей справке Директа, A/B-эксперименты доступны для ЕПК, продвигающих сайты и приложения, кроме размещения в мессенджерах, и для медийных кампаний. Список относится к штатному инструменту; наличие кнопки нужно сверить с типом конкретной кампании.
Рабочий путь в Директ Про: раздел «Библиотека», затем «A/B-эксперименты». Вариантам назначают кампании и доли выборки. Для сравнения заголовков подготовьте две копии с одним различием. Старые инструкции предлагают создавать эксперимент в Яндекс Аудиториях, но новые эксперименты там больше не создаются.
Несколько объявлений внутри одной группы решают другую задачу. Директ описывает автоматический отбор объявлений: после накопления статистики система чаще показывает подходящие варианты. Одинаковое количество показов им не гарантируется. Такое наблюдение помогает работать с объявлениями, но само по себе не дает сравнения двух кампаний с заранее заданными долями и критерием по обращениям.
Для выбора изображений полезен разбор трех концепций баннеров для РСЯ. Здесь предмет проверки шире: как организовано сравнение и на каком основании будет принято решение.
Опишите обращение и способ его учета
Для услуги основным событием может быть заявка, которую сайт действительно принял. Клик по кнопке не подтверждает отправку. До старта проверьте, что событие появляется после успешного приема формы, учитывается в нужном счетчике и не дублируется при повторной отправке.
В параметрах эксперимента выберите конкретную цель: по умолчанию конверсии могут отражать все цели счетчика.
Запишите определения рядом с метриками. «Принятое обращение» означает полученный запрос с рабочим способом связи. «Подходящее обращение» дополнительно соответствует услуге и согласованной географии. Эти статусы различаются: обычная цель формы не сообщает, что менеджер проверил запрос. Расчет стоимости и статусы разобраны в материале о стоимости квалифицированного лида.
Если подтвержденный статус передается из CRM в Метрику и доступен как цель, проверьте его привязку до использования в сравнении. Метрика поддерживает передачу офлайн-конверсий, но сам факт загрузки не доказывает корректность каждой связи. Когда такой передачи нет, отдельно сопоставляйте обращения и кампании в обезличенном отчете.
Стоимость обращения считайте как расход соответствующего варианта, деленный на число обращений с выбранным статусом. Используйте одинаковые правила удаления дублей, тестов и спама. При нуле подходящих обращений стоимость по этому статусу не рассчитывается: в таблице нужны расход, ноль обращений и пометка об отсутствии основания для деления.
Сохраните сопоставимые условия
Для теста заголовка оставьте одинаковыми предложение на сайте, географию, расписание и правила обработки заявок. Проверьте цели, модель атрибуции и состав участвующих кампаний. Различия в этих настройках затруднят объяснение результата даже при внешне похожих объявлениях.
Выбранные доли аудитории не обещают одинакового расхода или числа кликов. В бюджете учитывают распределение выборки, а в отчете сохраняют фактические значения каждого варианта. Если у одного варианта закончились деньги, пока другой продолжал работать, отметьте этот разрыв. Произвольное исключение неудобных дней после просмотра результата меняет основание сравнения.
Отдельно согласуйте с продажами общий порядок ответа. Если обращения А получают быстрый звонок, а Б попадают в очередь другого менеджера, статус «подходит» или «продано» отражает также работу команды. Ошибку передачи, поломку формы и смену графика заносите в журнал изменений.
Заполните протокол до запуска
Скопируйте заготовку в рабочий документ. Поля о данных и остановке заполняются до запуска: иначе их легко подстроить под понравившийся результат.
Вопрос эксперимента: Контроль А / изменение Б: Тип кампании и механизм разделения: Основная метрика / точная цель: Определение подходящего обращения: Доли вариантов / бюджеты / предельный расход: Одинаковые условия: Период сравнения / задержка учета: Правило достаточности данных: Основания досрочной остановки: Ответственный / журнал изменений: Решение и ограничения вывода:
Для правила достаточности возьмите базовую частоту выбранной цели за сопоставимый период и определите минимальный полезный эффект. По этим данным специалист заранее выбирает способ оценки неопределенности и рассчитывает нужный объем наблюдений. Запишите метод и предпосылки рядом с планом. Когда исходных данных для такого расчета нет, первый запуск помогает оценить их объем; уверенный выбор по цене обращения может потребовать следующего испытания.
Ниже учебный протокол условной компании, которая продает создание сайтов. Это пример проектирования до запуска, без данных рекламной кампании и без результата агентства.
| Поле | Учебное заполнение |
|---|---|
| Гипотеза | Уточнение состава работ в заголовке снизит стоимость принятого обращения при сохранении качества запросов |
| Варианты | А: «Создание сайта для бизнеса». Б: «Сайт с формой и аналитикой». Только если оба обещания соответствуют услуге |
| Разделение | Штатный A/B-эксперимент для двух ЕПК; доли 50/50. Посадочная и остальные настройки совпадают |
| Основной показатель | Цена цели «Заявка принята» по единому счетчику и определению успешной отправки |
| Проверка качества | Менеджер одинаково размечает дубли, спам и соответствие услуге; долю подходящих обращений сверяют отдельно |
| Окончание | Плановое сравнение по заранее выбранным полным бюджетным интервалам, после учета задержанных обращений |
| Достаточность | До запуска рассчитать объем по исходной частоте цели и минимальному полезному эффекту; при недоборе к плановой проверке сохранить статус «данных недостаточно» |
| Защитная остановка | Ошибка приема формы, потеря учета или превышение отдельно согласованного лимита расхода |
| Допустимое решение | Сохранить А, выбрать Б или признать данные недостаточными по заранее записанному правилу |
Даты, объем выборки, допустимое ухудшение качества и лимит расхода в настоящем протоколе определяются по данным бизнеса. Учебное деление 50/50 не делает любой срок или бюджет достаточным.
Отделите проверку запуска от оценки эффективности
Сразу после старта проверяют техническое состояние: нужные кампании участвуют, варианты названы понятно, показы начались, цель поступает, посадочная открывается. Этот просмотр нужен, чтобы найти неисправность. Первые различия показателей еще не дают основания объявлять победителя.
Добавление эксперимента может возобновить показы остановленной кампании: справка Директа предупреждает об автоматическом запуске. Перед действием проверьте состав кампаний и согласованный расход.
Сохраняйте журнал: дата, изменение, затронутый вариант, причина и ожидаемое влияние. Исправление общей ошибки учета документируют для обеих групп. Если пришлось менять проверяемое условие только в Б, прежний и новый периоды нельзя незаметно объединять в одно испытание.
Сравните одинаковые периоды и зрелые данные
Заложите время на обучение стратегии и учет отложенных обращений. Нужный период зависит от трафика, обычной частоты конверсий и задержки между кликом и целевым действием. Рекомендации платформы по обучению не заменяют оценку достаточности данных для вашей гипотезы.
Если бюджеты недельные, сравнивайте полные бюджетные интервалы. Модель атрибуции в отчете должна соответствовать задаче и настройкам: при ее смене меняются относимые к кампании конверсии. Эта зависимость описана в справке об атрибуции. Зафиксируйте ее до анализа, а также дату выгрузки и окно учета.
Основную таблицу дополните фактическими расходами, числом принятых обращений и результатом проверки качества. Рост кликов при отсутствии подтвержденных обращений не отвечает на вопрос о стоимости заявки. Статистическую неопределенность анализируют по выбранному правилу; цвет ячейки без проверки данных и размера эффекта недостаточен для коммерческого решения.
В отчете Метрики «Директ, эксперименты» можно дополнительно сравнивать варианты и учитывать погрешность. Зафиксируйте, какой сервис, показатель и способ оценки использовали. Не переносите порог из одного отчета в другой без проверки их методики.
Если к плановой проверке не набран нужный объём наблюдений или не достигнута точность по заранее выбранному правилу, запишите «данных недостаточно». При достаточных данных без подтверждённого полезного улучшения оснований переходить с А на Б нет. Это также не доказывает равенства вариантов. Продление возможно после оценки дополнительного расхода и ожидаемой пользы. Решение продлить тест только потому, что сегодня Б проигрывает, делает критерий окончания зависимым от результата.
Зафиксируйте решение и настройки после теста
В итоговом документе нужны исходная гипотеза, фактический период, расход, определения метрик и обнаруженные нарушения. Ограничьте вывод испытанным изменением и условиями: результат одного заголовка для одной услуги не доказывает превосходство подхода во всех кампаниях.
Завершение эксперимента тоже меняет размещение. В интерфейсе можно оставить выбранный вариант на полной выборке или остановить эксперимент с выбором кампаний, которые продолжат работать. Перед подтверждением проверьте список и будущие расходы. Простое ожидание указанной длительности эксперимент не завершает.
Для обсуждения плана с подрядчиком подготовьте гипотезу, тип кампании, обезличенную статистику по расходам и целям, определения статусов CRM и известные проблемы учета. По этим данным можно определить, готова ли аналитика к сравнению и какой вопрос имеет смысл проверять первым. Работа с кампаниями описана на странице настройки и ведения Яндекс Директа.
Обсудить задачу с Violet Agency
Источники и актуальность
Документация проверена 2 ноября 2026 года. Названия инструментов и ограничения приведены по официальной справке; учебные примеры не описывают результаты клиентов.