Стоит ли проводить тест a/a?
Коротко ответим: «Нет!» В рамках a/a-теста между двумя вариациями нет никакого различия. По сути, вы сравниваете страницу саму с собой. Некоторые предлагают это делать, чтобы выявлять возможные проблемы с настройкой. Но реальность состоит в том, что вы просто тратите время, которое стоило использовать на работу с реальным тестом. Так что, если вы придерживаетесь других принципов работы, в таких тестах обычно нет необходимости.
Интерпретация результатов теста
Для того чтобы вы могли измерить результаты вариации относительно контрольного варианта, программа сплит-тестирования попросит вас выбрать наиболее уместные показатели и установить для них целевые значения.
Показатели – основной измерительный инструмент для ваших сплит-тестов. Именно они позволяют вам увидеть, как вариация меняет поведение посетителей. Правильные показатели могут помочь вам интерпретировать исход теста и понять, почему поведение изменилось именно таким образом.
Основной показатель
Основной показатель нужно выбирать так, чтобы он мог напрямую измерять поведение, которое призван изменить эксперимент. Его значение поможет вам решить, принять ли гипотезу или отвергнуть ее.
Для интернет-магазинов идеальным основным показателем может считаться доход на посетителя (RPV). Почему не коэффициент конверсии? Дело в том, что в некоторых случаях высокий коэффициент конверсии приносит вам меньше денег. Как так? Посмотрите на два сценария, описанных ниже.
Сценарий A. У вас есть четыре посетителя. Один из них размещает заказ на £50 – иными словами, коэффициент конверсии в этом случае равен 25 %.
Сценарий B. У вас снова есть четыре посетителя, однако на этот раз заказы размещают двое – и это уже впечатляющий 50 %-ный коэффициент конверсии. Однако каждый клиент тратит лишь по £10. Общий доход составляет £20, то есть меньше половины от результата сценария A.
Что бы вы предпочли – сценарий с 25 %-ным коэффициентом конверсии или с 50 %-ным? Как видите, значение этого показателя способно вводить в заблуждение. Увы, вы не можете положить более высокий коэффициент конверсии на банковский счет.
При определенных обстоятельствах RPV неспособен служить вашим целям. К примеру, при недостаточно высоком трафике вам придется обратиться к коэффициенту конверсии или другим показателям. Деньги всегда правят бал, поэтому всеми силами пытайтесь найти показатели, позволяющие оценивать доход.
Все приведенные ниже показатели связаны с действиями по извлечению дохода на сайте, торгующем одеждой, и указаны в порядке убывания связи с доходами.
• Коэффициент конверсии.
• Количество продуктов, добавленных в корзину.
• Выбранный размер/цвет.
• Количество посещений страницы с деталями продукта.
Мы рекомендуем вам при любой возможности использовать RPV в качестве основного показателя. Убедитесь также, что вы изучаете доход от всего сайта, а не только процент прироста дохода, о котором сообщает ваша платформа для сплит-тестирования. Иной метод работы может не дать вам полной картины.
К примеру, если у вас имеется 34 %-ный рост RPV среди посетителей, согласившихся с вашими новыми правилами о защите личных данных, однако они составляют лишь 2 % всех посетителей, то, по сути, можно говорить лишь о 0,68 %-ном повышении общего дохода от сайта (2 % от 34 %). Хотя 34 %-ный прирост может считаться значительным, он относится лишь к небольшому сегменту, и эти результаты не назовешь особенно впечатляющими.
Второстепенные показатели
Несмотря на всю важность основного показателя, он способен дать вам лишь одно измерение. Чтобы получить максимум инсайтов из ваших экспериментов, вам нужно встроить в систему дополнительные уровни информации с помощью отслеживания второстепенных показателей. Это поможет создать новое повествование, связанное с исходом эксперимента. К примеру, если вы тестируете основную навигацию сайта, вам порой стоит рассмотреть и эти показатели.
Вы обнаружите, что второстепенные показатели часто достигают уровня статистической значимости раньше основного. Может случиться и так, что основной показатель не позволит вам сделать определенные выводы или даже продемонстрирует негативные результаты, в то время как один или несколько второстепенных показателей будут отражать статистически важный прирост.
В таких случаях у вас может возникнуть искушение использовать второстепенный показатель для того, чтобы заявить об успехе теста, но не поддавайтесь этому импульсу. Второстепенные показатели редко привязаны к гипотезе настолько тесно, чтобы подтвердить или опровергнуть ее.
Используйте второстепенные показатели для объяснения результатов основного показателя.
Как бы ни выглядели результаты для основного показателя, второстепенные могут помочь вам объяснить суть общего результата. Спросите себя, что именно может сказать вам каждый второстепенный показатель об изменениях в поведении посетителя. Почему происходящее с ним отличается от происходящего с основным показателем (или, наоборот, почти не отличается)?
Хотя вы не можете почерпнуть слишком много из показателей, которые не достигли уровня статистической значимости, они все равно помогают вам узнать из результатов теста больше и обеспечить победу в следующий раз.
Сегментация после теста
Если тест не сконфигурирован специально так, чтобы нацеливаться только на некий заранее определенный сегмент, его результаты можно отнести ко всей аудитории. Однако мы знаем, что люди неодинаковы и, возможно, различные группы посетителей ведут себя по-разному. Усредненные цифры лгут. Вполне может оказаться так, что вы выиграете в одном сегменте, однако ваши результаты будут практически нивелированы потерями в другом.
Большинство платформ для тестирования предлагают проводить сегментацию после тестирования, иногда за дополнительную плату. Однако вы можете бесплатно интегрировать сплит-тест с GA. Это позволит провести еще более глубокий и сегментированный анализ в GA. Вот типы сегментов, которые вы могли бы изучить:
• пользователи настольных или мобильных устройств;
• новые или возвращающиеся посетители;
• источник трафика;
