Как проводить A/B-тестирование в ExpertSender?

A/B-тестирование — удобный способ определить, как изменение определенных элементов в письмах повлияет на показатели открытий, кликов и конверсию.

В одной из статей мы рассказывали про нюансы тестирования на примере компании Leroy Merlin. В этой расскажем про техническую сторону вопроса.

Как правильно проводить A/A/B тест. Кейс LEROY MERLIN

Провести A/B-тестирование в ExpertSender можно двумя способами.

Способ первый

Отправить стандартное сообщение.

На первом шаге настройки сообщения есть чек-бокс, его нужно нажать, чтобы в нём открылись все функции для тестирования.

Вы можете тестировать до пяти версий письма. Для того, чтобы добавить новую версию, нужно нажать на кнопку «Добавить содержание».

После того, как вы выберете адресатов и настроите время отправки, вы сможете поделить подписчиков на несколько групп и отправить им всем различные варианты письма.

Если вы хотите провести A/B-тест на экспериментальной группе, а основной части подписчиков отправить наиболее удачный вариант, так тоже можно. Для этого задайте размер тестовой группы с помощью бегунка и выберите способ определения письма-победителя.

Письмо-победитель в A/B-тестах по теме и контенту можно выбрать несколькими способами:


— По показателю открытий.
— По показателю кликов.
— По показателю достижения цели.
— По суммарному значению целей.
— Вручную.

Как оценить конверсию без Google Analitics

Во всех случаях, кроме ручного, вы можете задать время отправки победителя тестирования.

При тестировании времени отправки сообщения вариант содержания письма всегда один, а даты и время для теста выбираются на этапе создания сообщения «Настройки доставки».

Письмо-победитель при тестировании времени отправки выбирается и отправляется оставшимся подписчикам вручную.

Какое письмо оказалось лучшим, можно посмотреть во вкладке «Отчеты» → «Сплит-тесты».

Способ второй

Использовать «Кампании».

Этот вариант удобен, если вы хотите тестировать до пяти вариантов сообщений в уже настроенной цепочке коммуникации.

Для того, чтобы проводить A/B-тестирование в «кампаниях», вам нужно добавить в рабочее поле элемент «Сплит-тест».

В настройках события «Сплит-тест» вы можете:

Указать критерий выбора победителя.

— Показатель открытий.

— Показатель кликов.

— Показатель достижения цели.

— Суммарное значение целей.

Запланировать отправку письма-победителя.

— Вручную. Это позволит вам выбрать победителя самостоятельно.

— Единоразовый. Вы сами определите дату и время, в которое будет выбрано письмо-победитель.

— Постоянный. В таком случае A/B-тестирование будет проводиться на постоянной основе. Так подписчики из тестовой группы будут получать «конкурирующие» варианты писем, а большинству получателей будет высылаться актуальное письмо-победитель*.

Письмо-победитель определяется один раз в сутки, в полночь на основе критерия, заданного в настройках сплит-теста.

Определить сегмент тестовой группы.

Вы можете выбрать конкретную группу подписчиков для участия в A/B-тестировании. Например, в тестовой группе могут быть подписчики, которые активно открывают ваши письма —  им будут отправляться письма A/B-теста. А подписчики, которых нужно активировать, будут получать письмо-победитель.

Указать размер тестовой группы.

Этот ползунок устанавливает показатель вероятности того, что подписчик, который дошел до объекта «Сплит-тест», попадет в тестовую группу этого события. 

Если показатель будет равняться 100%, то все подписчики окажутся в числе тестовой группы до тех пор, пока не будет определено письмо- победитель. 

Если показатель будет меньше 100%, то для теста будет выбран один из нескольких подписчиков, исходя из показателя вероятности (например, если вероятность равна 20%, то для тестовой группы будет выбран каждый пятый подписчик).

Письма-подтверждения: новый уровень

Вы просили — мы сделали. Наши письма-подтверждения вышли на новый уровень.

Теперь их можно загружать HTML-файлом, копировать из тех, что давно загружены в платформу, и быстро определять ID письма, настроенного на лист.

Что изменили

Письма-подтверждения по-прежнему создаются в настройках листа.

Но сейчас создать его можно не только через HTML-редактор, но и загрузить HTML-файл с диска.

А если хочется использовать уже существующее письмо, его можно скопировать.

Раньше письма-подтверждения можно было найти только в настройках листа. Теперь они выделены в отдельный вид и находятся в разделе «Email-сообщения».

Важно! По умолчанию в этом разделе отображаются все списки, на которых могут быть настроены письма-подтверждения.

В столбце «Название списка» отображается, собственно, название листа.

А во вкладке «Списки рассылок/сегменты», в деталях сообщения, можно узнать его ID.

Обновления в платформе ExpertSender. Выпуск 4

Помимо розово-синего оформления — новый отдельный вид писем, сегментация лучше, чем была (хотя в это сложно поверить, потому что была она космическая) и ещё парочка огненных обновлений в платформе, которыми мы завершим этот январь.

Добавили новые условия сегментации

1. Раньше с помощью сегментов можно было находить подписчиков, которые открывали сообщения в течение определённого промежутка времени. С новыми условиями сегментации можно находить активных подписчиков и анализировать их активность на основе не только временных рамок, но и объема отправленных сообщений.

Например, теперь легко найти подписчиков, у которых зафиксировано как минимум одно уникальное открытие любого стандартного сообщения с нужным вам тегом в течение сегодняшнего дня.

Или узнать уникальный показатель открытий нужного вам типа сообщения за определённый период:  

А если вам захочется создать такие сегменты по кликам, то ничто не сможет вам помешать, потому что так тоже можно 🙂

2. Для того чтобы исключить всех подписчиков с определённым доменом, раньше нужно было использовать условие «ни одному», а потом добавлять ограничение «относится к доменной группе». 

Теперь для решения этой задачи добавили новое ограничение «не относится к доменному семейству» — никаких путаниц с условиями.

3. Если раньше возникала ситуация, когда вам нужно было искать, например, подписчиков из разных городов, стран, районов и т.д., такие сегменты могли быть массивными, а на их создание тратилось много времени.

Чтобы упростить эту задачу, мы разработали два новых ограничения, которые можно использовать в ограничении «Поле». Обратите внимание, что «является одним из» и «не является любым» может использоваться только для числовых, текстовых пользовательских полей и системных полей (Geo).

Условия в сегментах можно копировать!

Раньше приходилось тратить время, чтобы создать сегмент со сложными похожими условиями — выбрать каждый параметр вручную и повторить ещё и ещё, если вариантов выбора много. Мы страдали вместе с маркетологами, но теперь всё в прошлом и одним кликом можно копировать ограничение.

Добавили возможность очистки/замены системных полей для группы подписчиков

Если возникала потребность изменить или стереть информацию в дополнительном поле для группы подписчиков, вы могли столкнуться с тем, что данные можно изменить во всех полях, кроме системных.

Мы исправили это и добавили возможность выбрать также системное поле для изменения с помощью «Задать значение основного поля».

Тут вы сможете выбрать поля имя, фамилия, код отслеживания и источник трафика.

Очистить нужное поле вы сможете, если оставите пустым поле для ввода.

Добавили функцию поиска в окне редактирования HTML-кода

C ExpertSender удобно не только реализовывать маркетинговые стратегии, но и редактировать HTML-код в сообщениях. 

Поиск слов в редакторе работает по той же логике, как поиск в браузере: нажатием на клавиш «Ctrl + F». Ключевые фразы находятся и подсвечиваются, а к следующей фразе вы можете перейти с помощью клавиши «Enter».

Устроили революцию в письмах-подтверждения

Письма-подтверждения можно найти и редактировать во вкладке «Емейл-сообщения». Теперь просто найти ID письма, его тему, какому листу оно принадлежит, просмотреть интервал отправки напоминаний, статистику и перейти в режим редактирования. 

После нажатия кнопки «Редактировать» вы будете перенаправлены в настройки списка рассылки, на вкладку «Письмо-подтверждения».

Редактор ничем не отличается от редакторов других писем. Архивы с вёрсткой можно загружать с диска или копировать из уже настроенных в платформе.

Добавили возможность фильтрации в браузере шаблонов

При создании сообщения можно копировать шаблон уже загруженного в платформу письма. Но если писем много, раньше приходилось долго листать страницы в поисках нужного. Теперь есть фильтр, и найти то самое —  дело трёх кликов.

Исправили логику импорта в таблицы данных

Если вы использовали метод «Добавить новые записи или обновить данные существующих записей» при импорте в таблицы данных, то могли столкнуться с ситуацией, когда он не был выполнен из-за ошибок. Потом вы наверняка разбирались с данными в файле и запускали импорт снова. То ещё удовольствие, понимаем.

Поэтому теперь, если в файле импорта есть неправильные данные (неверный адрес электронной почты, неправильный тип данных и т. д.), импорт будет продолжен, а после его завершения вы увидите отчет, в котором будет указано, что некоторые данные были неверными.

У нас появилась кнопка сброса пароля

А у вас больше самостоятельности 🙂 Теперь не нужно писать менеджеру и просить помочь сбросить пароль, если вы вдруг его забыли. Кнопка «Reset password» поможет быстро решить эту проблему.

Настроили интеграцию с letsencrypt.org

С февраля 2020 года Chrome будет блокировать отображение контента, который находится на http-протоколах. То есть картинки не будут отображаться, а ссылки работать. Но не нужно об этом переживать, потому что интеграция с letsencrypt.org позволяет настроить сертификат один раз и забыть о том, что его нужно обновлять. Мы ждали этого больше всего и жутко рады. Долой SSL-сертификаты на год, PFX-форматирование и задачки IT-отделу — всё обновляется автоматически, ура!

Добавили опции предварительного заголовка в API

Что это значит: если вы отправляете сообщения с помощью API, вы сможете сказать подписчикам чуточку больше, использовав для этого прехедер. Для этого внутри элемента <Content>  добавьте <Preheader> . Это должно выглядеть так:

Редизайн панели ExpertSender

Мы изменили наши системные цвета на фирменные — синий на темно-синий, оранжевый на фиолетовый, а ещё закруглили углы. 

Локальный и глобальный чёрные списки — зло?

Что происходит, когда подписчик нажимает на кнопку «отписаться»? По логике удаляется из листа для рассылок. Откуда тогда в этой простой схеме взялись чёрные списки и зачем они нужны?

В ExpertSender есть два вида чёрных списков: локальный и глобальный. И эти ребята очень полезны.

В локальный чёрный список подписчик попадает, когда жалуется на рассылку и нажимает на кнопку «Спам».

Если вдруг вы снова попытаетесь отправить ему сообщение, ничего не выйдет. Это хорошо, потому что подписчик не будет злиться на письма, от которых он никак не может отписаться, а вы не будете портить вашу репутацию отправителя.

Вероятность повторного добавления подписчика в лист при импорте тоже сведена к «не получится добавить». При импорте в ExpertSender, в лист для рассылок, этот адрес будет отклоняться системой.

Найти всех подписчиков из локального чёрного списка вы можете, если зайдете в «Подписчики» → «Чёрные списки».

Там вы легко проверите, есть ли какой-то нужный вам адрес, и удалите его из чёрного списка, если это потребуется. Для этого нужно нажать на кнопку «Удалить» напротив емейла.

А ещё сможете добавить в чёрный список конкретные адреса, определённые домены или целые семейства доменов, на которые не хотите отправлять письма.

Это можно сделать вручную или импортом из файла размером до 30 Мб.

Важно! Подписчики, которые пожаловались на ваши письма, дополнительно помечаются в платформе как «Жалобщик». 

Если вы захотите вернуть таких подписчиков в рассылку, нужно снять эту пометку.

Вы сможете это сделать, если зайдете в «Подписчики → «Удалённые». И там напротив нужного емейла нажмете на кнопку «Удалить пометку Жалобщик».

В глобальный чёрный список (ГЧС)  попадают емейлы, которые возвращают жесткую ошибку «ящик не существует». 

Может быть такое, что вы найдете адрес в ГЧС, хотя точно знаете —  емейл существует, его владелец ждет ваших писем, и раньше вы не пытались отправить ему сообщение.

На это может быть несколько причин: 

  • раньше этот адрес не существовал, но другая компания пыталась отправить на него сообщение через ExpertSender, и вернулась жесткая ошибка. Через некоторое время этот емейл стал живым и работающим, но уже находится в ГЧС.
  • адрес корпоративный. Помимо жестких фильтров безопасности, почты на корпоративных доменах довольно часто не имеют механизма обработки ситуаций, когда недоступен сервер. Поэтому возвращается ошибка «ящик не существует», хотя на самом деле проблема только в недоступности сервера.

Вы не сможете самостоятельно удалить адрес из глобального черного списка — такая функция отключена из соображений безопасности. Но сможет ваш персональный менеджер. Напишите ему, и он быстро поможет с этим 🙂

Как оценить конверсию без Google Analytics

Наличие статистики по доставленным сообщениям, открытиям, кликам и переходам — это прекрасно. Но чтобы окончательно сделать вывод о том, работает канал или нет, нужен анализ показателя конверсий.

Для этого маркетологи используют сервисы Яндекс.Метрика и Google Analytics. Но у ExpertSender, как у волшебника, припасен ещё один способ в рукаве — инструмент «Цели».

Для того, чтобы инструмент заработал, нужно зайти в «Настройки»
— «Достижения целей» и нажать кнопку «Установить новую цель».

После того, как вы введёте название цели, будет сгенерирован код отслеживания.

На выбор это может быть просто достижение страницы, или достижение какой-то определённой суммы заказа.

А когда код будет установлен на страницу, он начнёт отслеживать каждого подписчика, который совершил покупку после перехода по ссылке из письма и сохранять сумму его покупки, передавая эти данные в ExpertSender.

Все полученные показатели конверсии из писем можно смотреть в отчете по целям.

Или в сводном отчете в колонках «Цели» и «Значение целей»*

*В отчёте по каждому отдельному сообщению тоже посмотреть не проблема 🙂

Потом можно сегментировать пользователей по значению целей или  сумме покупок за месяц и отправлять им персональные предложения и слова благодарности.

Кстати, сообщение таким ребятам может отправляться само (ну, всё как мы любим). Для этого нужно только настроить регулярное сообщение, которое будет отправляться раз в неделю по определённому вами сегменту. Или триггерное сообщение, настроенное на отправку при достижении цели.

Согласен

Мы используем файлы cookie для записи информации о сеансе, например, прошлой активности на сайте, чтобы обеспечить лучший сервис, когда посетители возвращаются на наш сайт или настраивают содержимое веб-страницы на основе типа браузера посетителей. Используя веб-сайт, вы выражаете свое согласие с нашей политикой cookie. Вы можете изменить настройки файла cookie в своем веб-браузере.