Благодарим за подписку!

Закрыть

Емейл-тестирование по правилам: как проводить A/B-тесты и анализировать значимость результатов

Любому емейл-маркетологу наверняка не раз приходилось сталкиваться с ситуациями, когда практически идентичные, на первый взгляд, рассылки могут кардинально отличаться по показателям открытий и конверсий. В таких случаях догадки и сомнения «на какую лошадь поставить?» заводят в тупик, вынуждая рисковать доверием подписчиков и прибылью. Чтобы удостовериться, что ваше письмо заинтересует клиентов и сработает максимально эффективно, мы рекомендуем как можно чаще использовать A/B или сплит-тесты.

picture
Возможности сплит-тестирования стандартных писем
Сегодня сплит-тест – один из важнейших инструментов в руках профессиональных емейл-маркетологов. С его помощью можно сравнить количественные показатели конверсии нескольких версий писем в одном сегменте получателей и определить победителя с наибольшим откликом.

Контент писем можно тестировать по множеству параметров:

• цветовому оформлению и дизайну письма;
• формулировке темы или прехедера;
• обращению к подписчикам (например, на «ты» или на «Вы»);
• длине текста;
• виду и величине шрифтов;
• расположению колонок, картинок и других элементов;
• использованию gif, видеороликов или статичного изображения;
• использованию динамического контента и персонализации;
• использованию ограничений по времени и тизеров, а также многих других параметров.

Помимо этого, отклик на письма может зависеть от дня недели, выбранного для отправки. Например, одна и та же рассылка может активнее открываться в понедельник, а кликаться и приводить к покупке – в четверг. Эксперименты со временем отправки позволят выявить оптимальные день и час для коммуникации с подписчиками. Принципиально при этом учитывать, что время отправки – самостоятельный показатель, поэтому тестировать его вместе с контентом письма не допускается. Впрочем, при тестировании важен каждый уникальный компонент емейла, поэтому больше одного элемента в письме менять не стоит – даже в случае четкого определения победителя останется неясным, что именно повлияло на результат. Такая тупиковая ситуация может возникнуть, к примеру, при одновременном тестировании темы и контента.

Для чистоты эксперимента лучше не исследовать больше двух вариантов писем одновременно. Недаром сплит-тесты по-другому называют А/В-тестированием. Два письма – это почти всегда один победитель и один проигравший. Чем больше участников подключается к тесту, тем меньше разрыв между результатами и менее очевиден вывод.

Размер выборки в исследуемой группе при разовых тестированиях может варьироваться как угодно, система автоматически отправит варианты на заданное количество рандомных адресов в пределах аудитории получателей. В наших интересах исследовать только целевой сегмент – например, подписчики, которые по какой-то причине давно не совершали заказов. В этом случае основная задача будет заключаться в том, чтобы найти способ вернуть их в статус покупателей.

 

Сплит-тесты в автоматических цепочках писем
Помимо разовых, в нашей платформе можно проводить регулярные сплит-тесты в кампаниях – цепочках сообщений, идущих по заданному сценарию. В этом случае система автоматически выбирает для большинства подписчиков оптимальные варианты писем. Размер тестовой группы в кампаниях задаётся с помощью ползунка – он выставляет процент вероятности того, что подписчик попадет в тестовую группу. Например, если установить ползунок на 66%, то так же рандомно, как и в разовых тестах, в исследование попадут 2/3 группы, если 20% – 1/5 её часть.

picture2

Сообщение-победитель вычисляется на основе заданного критерия: показателя открытий, кликов, достижения цели. Версию-победителя также можно выбирать вручную (в любое время), единоразово (в заранее установленное время) и постоянно, т.е. ежедневно.

 

Статистическая значимость и её параметры
Казалось бы, всё не так сложно с функцией сплит-тестов, особенно в условиях гибкой автоматизации. Как бы то ни было, правильно провести исследование и получить математические результаты – это только полдела. 🙂 Потому что сегодня ключевой показатель сплит-теста заключается в его статистической значимости, то есть минимальной вероятности случайно полученного результата. Здесь как в хоккейном матче: счет 1:0 вроде означает победу, но получиться может из простого везения или ошибки вратаря.

Итак, что же такое статистическая значимость, почему она важна и как рассчитывается? Мы решили, что лучше всего об этом может рассказать наш аналитик Максим Ефремов, человек, не допускающий погрешностей в том, что касается формул и статистики. 🙂

«Статистическая значимость неотделима от понятий уровня статистической значимости и доверительного интервала. Именно уровень статистической значимости определяет случайность проводимого теста. Как правило, его принято брать равным 95% как компромиссное значение между точностью и трудозатратностью. Это значит, что при аналогичном наборе данных в 95 случаях из 100 результаты теста будут такими же.
Основным инструментом определения значимости является доверительный интервал, рассчитываемый для каждой версии письма. Это диапазон значений, внутри которого лежит истинное значение измеряемой величины. Формула для расчёта доверительного интервала достаточно громоздкая, и приводить её здесь не стоит. 🙂 Вкратце поясним, что размер доверительного интервала зависит от количества участвующих в тестировании подписчиков, полученного результата и уровня статистической значимости. При увеличении количества подписчиков, участвующих в тесте, доверительный интервал уменьшится. Он также будет уменьшаться при увеличении процента открытий и кликов у тестируемых писем.

Не так давно в нашей платформе появилась отличная функция, автоматически определяющая статистическую значимость сплит-тестов и доверительные интервалы для каждой версии письма. Это значит, что вам не обязательно прибегать к математическим формулам, чтобы определить, был ли тест значим – это можно понять по диаграммам в интерфейсе отчёта Expertsender. Небольшой лайфхак: если ползунки, отображающие доверительные интервалы, пересекаются, версии можно считать равнозначными и письмо-победителя определить нельзя. Если ползунки не пересекаются и отдалены друг от друга – можно смело отправлять письмо-победителя подписчикам.

picture3

picture4

Кстати, в Expertsender такие графики не обязательно трактовать самостоятельно – система автоматически формирует подсказку о результатах и о том, как скорректировать следующий тест для большей наглядности».

В целом сплит-тестирование — это отличный способ оптимизировать емейлы для аудитории, ведь единственно верного варианта для всех подписчиков не существует. В то же время практика показывает, что жизненный цикл разовых результатов бывает довольно коротким, потому что предпочтения подписчиков могут в любой момент измениться из-за погоды, политической и экономической обстановки, перемен в фэшн-индустрии – всего что угодно. Мы от души советуем: будьте терпеливы, не торопитесь завершать исследование после первых и, как вам кажется, очевидных результатов.

А если вам нужна помощь с подготовкой, проведением A/B-теста и обработкой полученных данных, обращайтесь к персональному менеджеру или адресуйте свои вопросы на почту: experts@expertsender.ru. Наша команда детально изучила вопрос значимости тестов, и нам приятно видеть, как новый функционал платформы делает сплит-тесты качественнее и выводит их на новый уровень аналитики. 🙂

 

Контент-эксперт ExpertSender