A/B-тестирование помогает выбрать вариант письма по реакции подписчиков: например, сравнить две темы или два призыва к действию. Для этого отправьте версии случайным частям одной аудитории, заранее выберите метрику и дождитесь результатов. В этом руководстве разберём, как сформулировать гипотезу, распределить получателей и прочитать статистику. Так вы сможете проверить конкретное решение и использовать вывод в следующей кампании.
Что такое A/B-тест в email-маркетинге?
В сплит-тесте подписчики случайным образом получают разные версии одного письма. Например, в варианте A тема звучит нейтрально, а в варианте B сразу называет предложение. Если остальные элементы одинаковы, разницу в реакции проще связать с темой.
Тестировать можно тему и прехедер, текст письма, изображение, расположение блоков или кнопку. Прехедер дополняет тему и помогает читателю понять, что внутри письма. Не повторяйте в нём заголовок: добавьте подробность, которая побуждает открыть сообщение (Sendsay, «A/B-тесты в email-маркетинге как гарантия эффективной рассылки»).
Для малого бизнеса тест полезен, когда есть конкретный выбор: предложить скидку в теме или описать пользу товара, поставить одну кнопку или добавить ссылки рядом с отдельными позициями. Начните с одного вопроса. Если одновременно изменить тему, текст и оформление, результат не подскажет, какое изменение повлияло на реакцию.
Как подготовить тест и выбрать метрику?
Сформулируйте гипотезу до отправки. Например: «Если вынести срок действия предложения в тему, больше подписчиков откроют письмо». Затем определите, какое действие подтвердит предположение. Для темы подойдёт доля открытий, для текста кнопки — доля кликов. Если цель кампании — покупка или заявка, отслеживайте и целевое действие на сайте, когда такая аналитика настроена.
Выберите один элемент для сравнения и подготовьте две версии. В варианте B меняйте только его: например, оставьте содержание письма прежним и замените текст кнопки «Подробнее» на «Посмотреть товары». Тогда результат будет понятнее. Для проверки содержания используйте клики, а для проверки темы — открытия; методику выбора победителя связывайте с целью теста (DashaMail, «Как правильно проводить А/B-тесты email-рассылок?»).
Перед запуском проверьте, что обе версии предназначены для одной аудитории и уходят в сопоставимых условиях. Если одному варианту достались активные покупатели, а другому — подписчики, которые давно не открывали письма, сравнение будет неточным. Для кампании интернет-магазина разделите одну и ту же базу случайно, а сегменты с разными предложениями проверяйте отдельно.
Как провести тест и определить победителя?
Разделите выбранную аудиторию на две равные случайные группы. Часть подписчиков получит вариант A, остальные — вариант B. Если инструмент рассылки позволяет, после тестовой отправки можно направить оставшимся получателям письмо с лучшей версией. Такой подход описан в материалах RuSender и NotiSend; доступность автоматической отправки зависит от конкретного сервиса.
Заранее задайте время сбора результатов. Слишком ранний вывод может не учесть подписчиков, которые читают почту позже. Сравнивайте варианты по одной выбранной метрике и смотрите на количество получателей, открытий или кликов вместе с процентом. Если разница мала или база невелика, зафиксируйте результат как предварительный, а не как доказательство устойчивого предпочтения.
Для небольшого списка не пытайтесь любой ценой объявить победителя. Случайные открытия и клики сильнее влияют на итог, когда участников мало. Повторите тест в следующей похожей кампании и проверьте, сохраняется ли направление результата. Не объединяйте в один вывод письма с разными предложениями и разной аудиторией.
После кампании запишите гипотезу, варианты, сегмент, метрику и итог. Эта короткая заметка поможет не повторять тест вслепую. Если хотите свериться с последовательностью настройки, посмотрите пошаговое руководство по A/B-тестированию на mailer.by.
Какие ошибки мешают получить полезный результат?
Менять сразу несколько элементов. Оставьте тему, содержание и оформление прежними, если проверяете только кнопку.
Выбирать метрику после отправки. Определите заранее, что важнее для этой гипотезы: открытия, клики или целевое действие.
Сравнивать разные аудитории. Направляйте варианты случайным группам из одного сегмента.
Считать небольшую разницу устойчивым выводом. Повторите проверку на следующей сопоставимой кампании.
Использовать открытия для оценки всей рассылки. Для текстов и кнопок смотрите на клики, а для продаж или заявок — на настроенные целевые события.
Начните с ближайшей кампании: выберите один спорный элемент, сформулируйте гипотезу и решите, по какой метрике будете сравнивать версии. После отправки сохраните результат и примените его в следующем письме. Если проблема связана с тем, что письма не доходят, сначала разберитесь с доставляемостью: A/B-тест показывает реакцию получателей, но сам по себе не исправляет технические причины недоставки.
