подписка
Подписаться
Алексей Ефимов, email-маркетолог, Экспедиция
27/05/2014

Многовариантное тестирование в email-маркетинге

Многовариантное тестирование в email-маркетинге

Поговорим о тестировании в email-маркетинге.

Причем не о каком-нибудь простом А/B тесте, который у всех на слуху, а о вещах чуть более сложных – многовариантном (многопараметрическом) тестировании email-кампаний.

 Несмотря на  пугающее название, суть такого теста понятна. Если в А/B тесте вы создаёте 2 варианта одного и того же письма, в которых отличается только один-единственный параметр (например, тема письма или картинка в его теле), то при многовариантном тестировании вы создаёте несколько вариантов письма, в которых отличаются несколько параметров (2, 3, 4 и т.д.).

Вы рассылаете свои варианты на некую часть подписной базы, а затем измеряете результаты и определяете, какое сочетание параметров для письма наилучшее.

Про ограничения

Прежде чем кидаться с головой в “омут” сплит-тестирования, стоит помнить про некоторые ограничения:

1.Размер базы

Размер базы при многовариантном тесте должен быть достаточным.

Чтобы результат получился статистически значимым, размер тестируемой группы должен быть не менее 250 случайным образом отобранных подписчиков.

Если тестировать хотя бы 4 варианта, то  нужно уже 1000 человек.

При этом тест, как правило, проводится на меньшей части базы (чтобы значительное её большинство получило лучший вариант), в идеале – на 10%. Таким образом, для качественного теста 4 вариантов письма необходима база в 10 000 подписчиков.

2. Ресурсы

Даже если размер вашей подписной базы позволяет провести тест хоть на 20 разных вариантов, все эти варианты ещё нужно разработать, разослать и провести замер результатов.

Отсюда второе ограничение многовариантных тестов – затраты времени и сил (назовём это ресурсами). Иногда (причём достаточно часто) рассылка этого не стоит.

Прибегать к усложнённым тестам необходимо лишь в особых случаях: при анонсе важной акции, товара, события, ключевой новости и проч. Во всех остальных случаях вполне подойдут “экспресс” А/B тесты, делать которые несложно, а результаты можно получить достаточно быстро.

Пример тестирования

От слов – к делу: посмотрим, как проводятся многовариантные тесты на “живом” примере.

У интернет-магазина есть клиентская база примерно в 30 000 человек.

Их адреса собраны из заказов, подпиской на новости магазина и прочими способами. Рассылок ещё не было – только-только принято решение начать проводить по базе регулярные email-кампании.

Мы собираемся провести первую рассылку в специально разработанном html-шаблоне и проверить сразу несколько вещей:

  1. Имя отправителя: русскоязычное (Наша компания) или англоязычное (Our company).

Письмо от кого будут лучше открывать?

  1. Тема письма: информационная (нейтральная) или вопросительная.

Письмо с какой интонацией в теме лучше откроют?

  1. Оформление ссылок: гиперссылки или кнопки.

В каком виде ссылки привлекут больше кликов – в виде “классических” гиперссылок (выделенного цветом текста с нижним подчёркиванием) или в виде объёмных кнопок?

  1. Формулировка ссылок: нейтральная (“Подробнее”) и с призывом к действию (“Узнать больше”). Какая формулировка, опять же, привлечёт больше кликов?

Комбинируя эти параметры, мы разработали 16 вариантов одного и того же письма:

База была разделена на 16 тестовых групп (для достоверности теста решили взять группы побольше, поэтому включили в тест всю подписную базу). По группам разослали разные варианты писем – каждая группа получила свой вариант.

Через 3 дня результаты кампании были сведены в таблицу – измерялась и сравнивалась доставка писем, их открываемость (open rate), уровень кликов (click rate), а также число отписок и жалоб на спам.

Вот что в итоге получилось:

На основе этих результатов были составлены сводные таблицы:

Судя по представленным данным:

  1. Русскоязычное имя отправителя + Информационная (нейтральная) тема письма сработали чуть лучше: 7% просмотров против 5-6% остальных вариантов.
  1. По гиперссылкам кликали чуть больше, чем по кнопкам: в среднем 1,55% против 1,45%.
  1. По ссылкам с нейтральной формулировкой (“Подробнее”) кликали больше, чем по ссылкам с призывом к действию (“Узнать больше”): 1,6% против 1,5%.

Лучший вариант в итоге:

Выводы по тесту

Для последующих кампаний интернет-магазина использовать русскоязычное имя отправителя (Наша компания), отдавать предпочтение гиперссылкам и ещё экспериментировать как с их формулировкой, так и с темой письма.

Информация к размышлению

Чтобы провести такой тест, интернет-маркетологам понадобилось около 5 часов (не считая времени, потраченного на подготовку исходной email-кампании).

За это время:

  • было создано 16 вариантов исходной кампании,
  • варианты загружены в сервис рассылок и отправлены подписчикам,
  • итоговые результаты сведены в таблицы, обсчитаны и проанализированы.

Разумеется, проводить подобные тесты каждый раз не стоит.

Но в этом случае многопараметрический тест закрыл сразу несколько вопросов, проверка которых последовательными A/B тестами заняла бы 8 кампаний (т.е. при частоте рассылок раз в неделю – почти 2 месяца).

Учитывая особую ситуацию (запуск email-рассылок интернет-магазина) кое-какие результаты хотелось получить быстрее, а кампанию провести как можно более эффективнее – многопараметрический тест подошёл в этом случае как нельзя лучше.

Об авторе

Алексей Ефимов – email-маркетолог, автор тематического блога Практичный email маркетинг.

Прокомментировать
Форматирование текста
Читайте также
Фролик
02/02/2016
Вам, магазины! 34
В процессе ремонта возникла необходимость в светодиодных светильниках, общее количество 11 штук. Раннее я взял пробную партию 5 шт, затем производитель вбросил аналогичную модель с несколько измененным корпусом (изменили материал), я купил еще 6 шт (больше в юлмарте не оказалось). В итоге на финише ремонта стало понятно, что светильники нужно ставить 11 и одной модели.

Итак, товар средней популярности, в яндексе несколько десятков магазинов с этим ассортиментом. Но вот что навело на мысль: ни в юлмарт, ни в плеер.ру этой позиции нет, но почему-то есть у других.

Ок, оформляю заказ в первом же магазине, на сайте наличие есть. Звонят: в наличии нет. Оформляю в следующем магазине - снова звонят - в наличии нет, хотя на сайте все есть. Говорят, что у поставщиков нет на складе.

Заказываю в третьем - все тоже самое. Четвертые предлагают мне другую модель бОльшего размера и другого цвета.

Пятый, шестой...десятый магазин. Везде одно и тоже - нет в наличии, сроков поставки поставщик не сообщает.

И никому из них не пришло в голову изменить информацию на сайте. Кто-то вообще не пишет про наличие, зато присылают письмо с одной фразой: "на заказ".

С учетом того, что поставщик у всех один, то фраза "на заказ" при условии, что у поставщика их нет и видимо пока не будет, звучит как-то глупо.
Еще
09/06/2014
"1С-Рарус " и "1С" обновили свою CRM
Новая версия CRM дает интернет-магазинам возможность через веб-интерфейс получать информацию о текущей работе, количестве продаж, взаимоотношении с клиентами, а также видеть данные о закупках... Подробнее
26/05/2014
ECOM Expo`14: ажиотаж вокруг электронной торговли
Ламборджини, IPhone5 и купание в деньгах: как проходила крупнейшая в Восточной Европе выставки технологий для интернет-торговли - ECOM Expo`14... Подробнее