• Нужны дополнительные технические средства.
Для параллельных тестов необходим соответствующий функционал. Как правило, в рассылочных сервисах он представлен, но в разной степени. Не все сервисы поддерживают возможность многовариантного тестирования. Некоторые ограничиваются простыми А/Б-тестами по ограниченному набору параметров (имя отправителя, тема письма, время отправки).
Конечно, можно проводить тестирование отчасти вручную – формировать тестовые группы самостоятельно (при помощи программиста или специального приложения), но в таком случае трудоемкость задачи повышается.
Инструментарий
Как уже было замечено выше, для последовательных тестов не нужно никакого вспомогательного функционала. Для параллельного тестирования такой функционал необходим.
В рассылочных сервисах – это возможность сплит-тестирования. В самом общем виде она позволяет устанавливать объем тестовой выборки, менять в письмах отдельные параметры, а также определять механизм выбора победителя: автоматически (по уровню просмотров или кликов) или вручную (на основе самостоятельной оценки всех показателей эффективности в комплексе):
Для тестов за пределами рассылочного сервиса готового функционала нет.
Например, чтобы протестировать нотификации, которые обычно отправляются через CMS, понадобятся либо последовательный подход, либо какой-то «самописный» функционал для параллельного тестирования.
Для проверки содержания сайта (форм или страниц подписки) можно использовать готовое решение – «Эксперименты» в Гугл Аналитикс. Пользоваться им достаточно просто, и помощь IT-специалиста не понадобится.
Статистика тестов
В целом ведение статистики для тестов мало отличается от статистики простых рассылок. Измеряются все те же величины (информация о доставке, показатели эффективности, заказы).
Однако при анализе упор делается на один-два ключевых показателя, повышение которых и было целью тестирования.
Например, при работе с темой письма пристальное внимание следует обращать на коэффициент просмотров (Кпр). При оптимизации содержания – на коэффициент кликов (Ккл).
Для удобства также нужно делать пометки о тестах в таблице статистики. Можно использовать для этого Примечание, а можно завести отдельный столбец:
Так результаты каждого тестирования наглядно сопоставляются по всем важным показателям.
Тесты в рассылках
Подковавшись в основах тестирования, переходим к практике – что именно и как нужно проверять в разных письмах.
Регулярная массовая рассылка
Массовая рассылка – пожалуй, самое благодатное и обширное поле для экспериментов. Письма отправляются часто и помногу, обычно в этом участвует рассылочный сервис. То есть в наличии вся необходимая статистика, а также функционал для сплит-тестирования. Мы можем проводить как последовательные, так и параллельные тесты и получать при этом ощутимые результаты.
В массовой рассылке тестируем:
• Имя отправителя
Первое, что подлежит проверке и сказывается на уровне просмотров, – это имя отправителя (отображается в почтовых клиентах слева, в поле «От кого»):
Варианты для тестирования имени:
• Русское/англоязычное (Интернет-магазин/Internet-Shop).
• Длинное/короткое (Интернет-магазин «Мягкие игрушки»/«Мягкие игрушки»).
• Личное/общее (Елена из Интернет-магазина/Новости Интернет-магазина).
При тестировании обращаем внимание на Кпр, но также поглядываем и на Ккл:
Рекомендую тестировать имя отправителя только при запуске массовой рассылки (первые 3–4 кампании). В дальнейшем постоянные эксперименты с именем могут пойти во вред, снижая просмотры – подписчикам придется узнавать вас каждый раз заново. Проведя ряд тестов (лучше параллельных), выберите наиболее эффективное имя и пользуйтесь им постоянно.
Конечно, у всякого правила есть исключения. Изредка можно «взбрыкивать» и уходить в сторону от выбранной тактики: например, при анонсировании важной акции позволить себе вольности с именем, чтобы побороться за просмотры.
• Тема письма
Если бы мне пришлось отказаться от всех видов тестов и оставить только один, я бы без колебаний выбрал сплит-тестирование темы письма. Пожалуй, нет другого способа так быстро и эффективно повысить просмотры и клики, как варьировать тему. Разница в показателях одного и того же письма, в котором отличается только содержание предметной строки (subject line), может составлять десятки процентов.
При этом не стоит забывать и о «воронке продаж» для e-mail:
Повышая просмотры и клики, мы выигрываем и в итоговой конверсии. Поэтому, как только размер базы переваливает за 1000 подписчиков, обязательно начинайте тесты.
Сначала проверяйте только 2 варианта темы: А и Б. По мере роста числа подписчиков наращивайте и число вариантов: А, Б, В, Г… Сам я предпочитаю тестировать 4 темы в каждой рассылке, но слышал о компаниях, где тестируют до 20 тем. В таких случаях речь идет уже даже не о различных формулировках, а об отдельных нюансах: специальных символах (★ ✈ ♥ ☼ ♫ ✿), знаках пунктуации (!!!!?!), оттенках персонализации (коллега/дорогой друг) и т. п.
Как бы то ни было, придумать несколько тем для письма не составляет труда.
Можно перефразировать одну и ту же мысль:
А: Купите два товара и получите третий бесплатно!
Б: Скидка 100 % на 3‑й товар
