Директ расширил возможности для A/B тестирования

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц. Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Он доступен по запросу тем рекламодателям, которые уже уверенно работают с аналитикой и накопили в кампаниях достаточно данных. Для корректной работы рекомендуется проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц.

Как это устроено: 

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент:

• Создать эксперимент в Аудиториях – завести сегменты пользователей на долю аудитории.
• В Директе привязать сегменты к тестируемым кампаниям.
• Сравнить статистику по тестовым сегментам  и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.

Для правильного эксперимента  потребуются:

1.  Настроенные цели или Ecommerce действия в Метрике – источник информации о конверсиях.
2.  Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
3.  Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
4.  Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
5.  Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.

В "Яндексе" советуют проводить любой A/B-тест не менее 2 недель, а лучше – больше. Главное, чтобы за этот период успела накопиться статистика. Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий. Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.

Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели – скажем, клики, показы или CTR – в рассмотрении не участвуют. Для этого необходимо выбрать эксперименты в качестве условия фильтрации в Директе:

И посмотреть расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на Группировки, выбрать нужный эксперимент, а затем в окне кликнуть Метрики и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%)- стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части: Сегмент A – оптимизация количества кликов. Сегмент B – средняя рентабельность инвестиций.

Оказалось, что при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий,  чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Сценариев для экспериментов бесконечное множество – всё зависит от  задач рекламодателей. Один из самых простых кейсов – тестирование новых продуктов или функциональности Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в интересующей тематике, необходимо завести экспериментальную кампанию с новинкой только на небольшую долю аудитории. Также можно будет сравнить два медиаплана, прежде чем направлять бюджет на один из них.

Эксперимент в Директе поможет и рекламодателю, который хочет привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса.