Вот как это работает на практике. Предположим, что ваши результаты до начала тестирования выглядят примерно так:
Совокупный эффект семи позитивных тестов, обеспечивающий средний прирост RPV на уровне 5,9 %, создает общий совокупный прирост по всему сайту за последние 12 месяцев на уровне 49 %.
Однако не стоит попадать в ловушку распространенной ошибки и считать, что это означает 49 %-ное увеличение продаж. Расширение результатов сплит-теста на предсказуемый рост продаж – невероятно сложный процесс, о котором мы детально рассказывали в главе 9.
Говоря простым языком, сплит-тестирование позволяет измерить краткосрочные изменения в поведении клиента. Ваш тест может проходить несколько недель, и вы увидите повышение RPV.
По сути, RPV показывает, как меняются продажи в течение этого временно́го периода. После того как вы изменили свой сайт на основании результатов эксперимента, прирост RPV может быть совсем не таким, каким был во время теста. В дело вступают другие факторы, в том числе долгосрочные изменения в поведении клиента, а также степень удовлетворенности и лояльности потребителей.
Ценность совокупного ежегодного прироста состоит в том, что он четко описывает базовый уровень для вашей программы оптимизации. Для его повышения вам нужно сконцентрироваться на трех показателях мощности – иными словами, проводить больше сплит-тестов, повышать долю тестов-победителей и увеличивать средний размер прироста. И тогда вы увидите общее увеличение итогового показателя.
К чему может привести повышение каждого из этих показателей всего на 10 %? Результат – в таблице далее.
Вы можете увидеть, что эти крошечные изменения в каждой области оказывают огромное влияние на величину совокупного ежегодного прироста (которая выросла с 49 до 64 %). Это четко показывает, что ваша программа конверсии стала работать лучше благодаря оптимизации самого процесса оптимизации.
Понятно, что подобными улучшениями стоит заниматься, но как именно улучшать каждый из трех показателей? Примерно так.
Показатель мощности 1 – как повысить скорость вашего теста
Существует несколько способов легко и просто повысить количество запускаемых вами тестов. Причем мы имеем в виду, что тесты запускаются не только ради повышения их количества как такового. Если вы увеличите количество тестов, но при этом будете заниматься тестированием случайными образом (RATS), у вас снизится и доля победителей, и средняя величина прироста. В конечном итоге все закончится снижением прибыли от программы оптимизации в целом.
Позвольте поделиться с вами пятью стратегиями, которые вы можете использовать, не жертвуя при этом качеством своей программы тестирования.
1. Продолжайте наполнять вашу корзину новых идей из корзины в своем плане оптимизации – это даст вам возможность не тратить время на поиски очередной гипотезы для тестирования.
2. Определите количество «слотов», доступных для тестирования на вашем сайте. Слот – это область вашего сайта. Большинство интернет-магазинов имеют 7–10 слотов, на которых вы можете производить тестирование, например:
• домашняя/стартовая страница,
• страница категории,
• страницы с перечнями продуктов (PLP),
• страница с деталями продукта (PDP),
• страница с результатами поиска,
• страница корзины,
• страницы оформления заказа с первой по четвертую.
Добавляя в систему мобильную версию сайта, вы удваиваете количество слотов, доводя его до 14–20.
Не следует проводить более одного теста в каждой области в одно и то же время, поэтому попробуйте представить, что тесты – это места на парковке. Когда вы проводите тест, соответствующее место на парковке занято. Вы не можете проводить на этом месте еще один эксперимент, пока не завершите предыдущий тест и не сообщите о его результатах.
Именно поэтому так важно повышать скорость тестирования. Это даст вам возможность проводить тесты в максимально возможном количестве областей сайта; кроме того, вы будете уверены в том, что, как только завершается один сплит-тест, следующий уже ждет своей очереди.
3. Создание сложных тестов требует времени и денег, поэтому расставьте свои гипотезы в порядке приоритетности и начните с тестов, для которых не нужно сложного программирования.
4. Проводите сплит-тесты лишь в течение необходимого времени. Если они будут проводиться дольше, это будет означать, что вы занимаете чужое место на корпоративной парковке и тем самым снижаете эффективность своей программы оптимизации.
5. Используйте более высокое значение минимально обнаруживаемого эффекта (MDE). К примеру, вместо 3 % можно повысить его до 5 % или более. Это означает, что ваш инструмент для сплит-тестирования не позволит выявить результаты менее 5 %, а также то, что вы можете лучше распоряжаться доступным вам трафиком и слотами для тестирования. Более детальное объяснение MDE приведено в главе 9.
Показатель мощности 2 – как увеличить долю победителей
Если 100 % ваших сплит-тестов – «победители», скорее всего, либо у вас изначально был очень плохой сайт, либо (что намного более вероятно) вы неправильно интерпретируете результаты своего сплит-теста и объявляете ложноположительные результаты. Такие результаты очень похожи на «победы», однако при более тщательном изучении данных вы не можете увидеть никаких реальных изменений в поведении посетителей. Более того, иногда такие тесты способны даже оказать разрушительное влияние на объем продаж.
Аналогичным образом, если только у небольшой доли ваших сплит-тестов результат оказывается лучше, чем у исходного значения, у вас проблемы, ведь самое важное при проведении тестов – это как раз добиться увеличения доли победителей относительно низкого начального уровня.
Для повышения доли сплит-тестов, приводящих к позитивному приросту, вы можете использовать три основных подхода.
• Убедитесь, что развитие ваших гипотез основано на данных и исследованиях и вы не тестируете случайным образом (RATS).
• Расставьте свои гипотезы в порядке важности – если вы тестируете не важную гипотезу, то, каким бы ни было ваше креативное исполнение, доля победителей будет меньше, чем можно было достичь.
