• браузер или операционная система.
В процессе сравнения результатов различных сегментов попытайтесь найти объяснение любым различиям в поведении. Почему определенные сегменты отреагировали определенным образом? Если в результатах есть различия, чем они могут быть вызваны?
Не стоит переходить к преждевременным заключениям, основываясь на лишь сегментированной отчетности – высоки шансы увидеть ложную победу или, если воспользоваться статистическим термином, «ложноположительный результат». Вследствие меньшего размера выборки у вас будет меньше случайных флуктуаций. Также помните, что изучение единственного сегмента в изоляции от других не позволит вам увидеть полную картину.
Заявление об успехе
К сожалению, никто пока так и не придумал единого и простого контрольного списка, позволяющего четко определить, когда успех теста гарантирует победу в полномасштабной работе. В процессе тестирования используется слишком много переменных, а кроме того, любой результат требует определенного уровня интерпретации человеком.
Перед тем как заявлять о победе, проверьте результаты своего эксперимента по следующим параметрам.
• Видело ли его столько посетителей, сколько рекомендовано калькулятором продолжительности теста?
• Проводился ли тест в течение как минимум двух бизнес-циклов (обычно 14 дней)?
• Увеличилось ли значение основного показателя, чаще всего дохода на посетителя (RPV), как минимум на 2 %?
• Удалось ли тесту достичь статистической значимости на уровне не менее 95 %, если только у вас не было веских причин согласиться на меньшее значение?
• Если победа относится к сегменту, то достаточно ли велик размер выборки для того, чтобы делать масштабные заключения?
Укрепите свою победу
Очевидно, что, найдя выигрышную вариацию, вы наверняка захотите извлечь из этого знания наибольшую выгоду. Когда речь заходит об изменениях на сайте, у вас есть три варианта действий.
1. Начните демонстрировать выигрышную вариацию всем посетителям, а не половине, как раньше.
2. Превратите выигрышную вариацию в постоянный элемент сайта.
3. Продолжайте эксперимент, в рамках которого 5 % посетителей сайта продолжают, как и раньше, видеть контрольную страницу.
Ниже приведено резюме плюсов и минусов каждого из этих подходов. Если вы пойдете по второму пути, то сможете значительно ускорить ход событий, передав своей команде разработчиков или агентству бриф со следующей информацией:
• снимки экранов контрольной страницы и страницы с вариацией;
• описание отличий, представленных в вариациях;
• любые изменения в логике бизнеса;
• результаты, достигнутые во время теста;
• программа, созданная для вариации в движке, управляющем инструментом для сплит-тестирования;
• любые особые события, требующие дополнительного контроля и проверки в процессе разработки.
Как и в случае любых других изменений на вашем сайте, внимательно изучите результаты работы команды перед тем, как запустить новую версию сайта. Убедитесь, что вы получили точную копию выигрышной вариации, которая выглядит и работает точно так же. Это может звучать банально, однако мы частенько замечали, как многие компании игнорируют данное простое правило.
Внешнее подтверждение результатов
Возможно, ваш начальник хочет увидеть доказательства успеха вашего эксперимента и найти подтверждение этому в GA или данных о продажах. Возможно, финансовый директор также хочет максимально точно учесть возможный прирост продаж и выручки в своих бюджетах. Будьте осторожны – все не так просто и прямолинейно. Во-первых, позитивный эффект большинства экспериментов утонет в имеющихся совокупных показателях, а именно их будут изучать в первую очередь. Это вызвано тем, что (как мы объясняли выше) эксперимент нацеливается лишь на небольшую область сайта, и поэтому вы должны учитывать в своих выводах общий доход от сайта. Кроме того, выигрышную вариацию видели всего 50 % этого сегмента, потому не стоит ожидать, что положительный эффект будет заметен в совокупных данных.
Во-вторых, невозможно учесть все внешние неявные переменные типа сезонности, состава трафика, периодов распродаж и появления багов в программах. Представьте себе, к примеру, что в день, когда вы запускаете на сайте выигрышную вариацию, про вашу компанию вдруг начинает писать пресса и внезапно на сайт приходит множество невероятно заинтересованных посетителей. Очевидно, что это окажет негативное влияние на общую величину вашего коэффициента конверсии из-за того, что количество посетителей увеличится, а количество покупателей останется прежним. И в этом случае вам придется забыть об идее сравнения «до и после».
Хорошая новость состоит в том, что у вас есть способ получить внешнее подтверждение результатов с помощью интеграции сплит-теста с GA. Это позволяет убрать шум, связанный с совокупными данными, и разделить данные на сегменты, в которых вы можете сравнить данные по вариации и контрольной странице. Другой хороший способ внешнего подтверждения связан с демонстрацией контрольной страницы 5 % посетителей, как показано в табл. 9.2 выше.
Что делать с отрицательными тестами
Как мы уже видели, большинству сплит-тестов не удается обеспечить прирост. Это, впрочем, не значит, что они неудачны. Вообще, такого понятия, как «неудачные тесты», просто нет. И хотя мы говорим о тестах, обеспечивших прирост, как о «выигрышных», другие тесты не являются «проигрышными» – при условии, что вы следовали структурированному подходу. Практики называют их результаты «отрицательным приростом». Это может звучать как оксюморон, поэтому давайте повнимательнее посмотрим на все достоинства отрицательного результата.
При правильной организации теста вы узнаете кое-что ценное относительно поведения посетителя или предпочтений клиентов. Это знание способно не только сэкономить вам деньги в долгосрочной перспективе. Негативные тесты часто приводят к появлению новых итераций, создающих прирост, намного более высокий, чем изначальные потери. Практика показала, что некоторые из самых впечатляющих результатов возникли вследствие так называемых обратных тестов. Первый запуск теста приводит к негативному результату, но последующие итерации обеспечивают позитивные результаты благодаря инсайтам, полученным из негативного первого.
