Как проводить A/B-тестирование в ExpertSender?

A/B-тестирование — удобный способ определить, как изменение определенных элементов в письмах повлияет на показатели открытий, кликов и конверсию.

В одной из статей мы рассказывали про нюансы тестирования на примере компании Leroy Merlin. В этой расскажем про техническую сторону вопроса.

Как правильно проводить A/A/B тест. Кейс LEROY MERLIN

Провести A/B-тестирование в ExpertSender можно двумя способами.

Способ первый

Отправить стандартное сообщение.

На первом шаге настройки сообщения есть чек-бокс, его нужно нажать, чтобы в нём открылись все функции для тестирования.

Вы можете тестировать до пяти версий письма. Для того, чтобы добавить новую версию, нужно нажать на кнопку «Добавить содержание».

После того, как вы выберете адресатов и настроите время отправки, вы сможете поделить подписчиков на несколько групп и отправить им всем различные варианты письма.

Если вы хотите провести A/B-тест на экспериментальной группе, а основной части подписчиков отправить наиболее удачный вариант, так тоже можно. Для этого задайте размер тестовой группы с помощью бегунка и выберите способ определения письма-победителя.

Письмо-победитель в A/B-тестах по теме и контенту можно выбрать несколькими способами:


— По показателю открытий.
— По показателю кликов.
— По показателю достижения цели.
— По суммарному значению целей.
— Вручную.

Как оценить конверсию без Google Analitics

Во всех случаях, кроме ручного, вы можете задать время отправки победителя тестирования.

При тестировании времени отправки сообщения вариант содержания письма всегда один, а даты и время для теста выбираются на этапе создания сообщения «Настройки доставки».

Письмо-победитель при тестировании времени отправки выбирается и отправляется оставшимся подписчикам вручную.

Какое письмо оказалось лучшим, можно посмотреть во вкладке «Отчеты» → «Сплит-тесты».

Способ второй

Использовать «Кампании».

Этот вариант удобен, если вы хотите тестировать до пяти вариантов сообщений в уже настроенной цепочке коммуникации.

Для того, чтобы проводить A/B-тестирование в «кампаниях», вам нужно добавить в рабочее поле элемент «Сплит-тест».

В настройках события «Сплит-тест» вы можете:

Указать критерий выбора победителя.

— Показатель открытий.

— Показатель кликов.

— Показатель достижения цели.

— Суммарное значение целей.

Запланировать отправку письма-победителя.

— Вручную. Это позволит вам выбрать победителя самостоятельно.

— Единоразовый. Вы сами определите дату и время, в которое будет выбрано письмо-победитель.

— Постоянный. В таком случае A/B-тестирование будет проводиться на постоянной основе. Так подписчики из тестовой группы будут получать «конкурирующие» варианты писем, а большинству получателей будет высылаться актуальное письмо-победитель*.

Письмо-победитель определяется один раз в сутки, в полночь на основе критерия, заданного в настройках сплит-теста.

Определить сегмент тестовой группы.

Вы можете выбрать конкретную группу подписчиков для участия в A/B-тестировании. Например, в тестовой группе могут быть подписчики, которые активно открывают ваши письма —  им будут отправляться письма A/B-теста. А подписчики, которых нужно активировать, будут получать письмо-победитель.

Указать размер тестовой группы.

Этот ползунок устанавливает показатель вероятности того, что подписчик, который дошел до объекта «Сплит-тест», попадет в тестовую группу этого события. 

Если показатель будет равняться 100%, то все подписчики окажутся в числе тестовой группы до тех пор, пока не будет определено письмо- победитель. 

Если показатель будет меньше 100%, то для теста будет выбран один из нескольких подписчиков, исходя из показателя вероятности (например, если вероятность равна 20%, то для тестовой группы будет выбран каждый пятый подписчик).

Согласен

Мы используем файлы cookie для записи информации о сеансе, например, прошлой активности на сайте, чтобы обеспечить лучший сервис, когда посетители возвращаются на наш сайт или настраивают содержимое веб-страницы на основе типа браузера посетителей. Используя веб-сайт, вы выражаете свое согласие с нашей политикой cookie. Вы можете изменить настройки файла cookie в своем веб-браузере.