Многовариантное тестирование в email-маркетинге

Поговорим о тестировании в email-маркетинге.

Причем не о каком-нибудь простом А/B тесте, который у всех на слуху, а о вещах чуть более сложных – многовариантном (многопараметрическом) тестировании email-кампаний.

 Несмотря на  пугающее название, суть такого теста понятна. Если в А/B тесте вы создаёте 2 варианта одного и того же письма, в которых отличается только один-единственный параметр (например, тема письма или картинка в его теле), то при многовариантном тестировании вы создаёте несколько вариантов письма, в которых отличаются несколько параметров (2, 3, 4 и т.д.).

Вы рассылаете свои варианты на некую часть подписной базы, а затем измеряете результаты и определяете, какое сочетание параметров для письма наилучшее.

Про ограничения

Прежде чем кидаться с головой в “омут” сплит-тестирования, стоит помнить про некоторые ограничения:

1.Размер базы

Размер базы при многовариантном тесте должен быть достаточным.

Чтобы результат получился статистически значимым, размер тестируемой группы должен быть не менее 250 случайным образом отобранных подписчиков.

Если тестировать хотя бы 4 варианта, то  нужно уже 1000 человек.

При этом тест, как правило, проводится на меньшей части базы (чтобы значительное её большинство получило лучший вариант), в идеале – на 10%. Таким образом, для качественного теста 4 вариантов письма необходима база в 10 000 подписчиков.

2. Ресурсы

Даже если размер вашей подписной базы позволяет провести тест хоть на 20 разных вариантов, все эти варианты ещё нужно разработать, разослать и провести замер результатов.

Отсюда второе ограничение многовариантных тестов – затраты времени и сил (назовём это ресурсами). Иногда (причём достаточно часто) рассылка этого не стоит.

Прибегать к усложнённым тестам необходимо лишь в особых случаях: при анонсе важной акции, товара, события, ключевой новости и проч. Во всех остальных случаях вполне подойдут “экспресс” А/B тесты, делать которые несложно, а результаты можно получить достаточно быстро.

Пример тестирования

От слов – к делу: посмотрим, как проводятся многовариантные тесты на “живом” примере.

У интернет-магазина есть клиентская база примерно в 30 000 человек.

Их адреса собраны из заказов, подпиской на новости магазина и прочими способами. Рассылок ещё не было – только-только принято решение начать проводить по базе регулярные email-кампании.

Мы собираемся провести первую рассылку в специально разработанном html-шаблоне и проверить сразу несколько вещей:

1. Имя отправителя: русскоязычное (Наша компания) или англоязычное (Our company).

Письмо от кого будут лучше открывать?

2. Тема письма: информационная (нейтральная) или вопросительная.

Письмо с какой интонацией в теме лучше откроют?

3. Оформление ссылок: гиперссылки или кнопки.

В каком виде ссылки привлекут больше кликов – в виде “классических” гиперссылок (выделенного цветом текста с нижним подчёркиванием) или в виде объёмных кнопок?

4. Формулировка ссылок: нейтральная (“Подробнее”) и с призывом к действию (“Узнать больше”). Какая формулировка, опять же, привлечёт больше кликов?

Комбинируя эти параметры, мы разработали 16 вариантов одного и того же письма:

База была разделена на 16 тестовых групп (для достоверности теста решили взять группы побольше, поэтому включили в тест всю подписную базу). По группам разослали разные варианты писем – каждая группа получила свой вариант.

Через 3 дня результаты кампании были сведены в таблицу – измерялась и сравнивалась доставка писем, их открываемость (open rate), уровень кликов (click rate), а также число отписок и жалоб на спам.

Вот что в итоге получилось:

На основе этих результатов были составлены сводные таблицы:

Судя по представленным данным:

1. Русскоязычное имя отправителя + Информационная (нейтральная) тема письма сработали чуть лучше: 7% просмотров против 5-6% остальных вариантов.

2. По гиперссылкам кликали чуть больше, чем по кнопкам: в среднем 1,55% против 1,45%.

3. По ссылкам с нейтральной формулировкой (“Подробнее”) кликали больше, чем по ссылкам с призывом к действию (“Узнать больше”): 1,6% против 1,5%.

Лучший вариант в итоге:

Выводы по тесту

Для последующих кампаний интернет-магазина использовать русскоязычное имя отправителя (Наша компания), отдавать предпочтение гиперссылкам и ещё экспериментировать как с их формулировкой, так и с темой письма.

Информация к размышлению

Чтобы провести такой тест, интернет-маркетологам понадобилось около 5 часов (не считая времени, потраченного на подготовку исходной email-кампании).

За это время:

• было создано 16 вариантов исходной кампании,
• варианты загружены в сервис рассылок и отправлены подписчикам,
• итоговые результаты сведены в таблицы, обсчитаны и проанализированы.

Разумеется, проводить подобные тесты каждый раз не стоит.

Но в этом случае многопараметрический тест закрыл сразу несколько вопросов, проверка которых последовательными A/B тестами заняла бы 8 кампаний (т.е. при частоте рассылок раз в неделю – почти 2 месяца).

Учитывая особую ситуацию (запуск email-рассылок интернет-магазина) кое-какие результаты хотелось получить быстрее, а кампанию провести как можно более эффективнее – многопараметрический тест подошёл в этом случае как нельзя лучше.

Об авторе

Алексей Ефимов – email-маркетолог, автор тематического блога Практичный email маркетинг.