Мы рекомендуем использовать MVT только для выявления этих элементов, а затем оценивать их с помощью A/B-тестирования. Не стоит использовать их все, если только у вас нет огромного трафика на сайте.
Тест с исключением
Такой тест может иметь форму A/B/n или MVT. Иногда его еще называют тестом на существование. Он помогает вам выявлять и давать количественную оценку влиянию того или иного элемента страницы. Вы прячете этот элемент в своей вариации и смотрите, к каким последствиям это приводит.
Возможно, вы столкнетесь с сопротивлением коллег, потому что кое-кому просто не понравится, что вы убираете существующий элемент из страницы. Однако реальность такова, что в определенных ситуациях именно это позволит вам получить четкие данные для подкрепления решения, которое вам необходимо принять.
Если эксперимент демонстрирует прирост, это может говорить о том, что определенная переменная мешает продажам. Порой результаты удивляют, вам может даже показаться, что они противоречат здравому смыслу. В этих случаях подумайте, почему так происходит и что это говорит вам о предпочтениях ваших клиентов.
Если тест демонстрирует отрицательный прирост, это свидетельствует, что спрятанный вами элемент как-то влияет на продажи. Конечно, вы можете вернуть его на прежнее место, но можно ли сделать что-то еще? Если результаты оказались неопределенными, значит, что элемент при определенных условиях будет работать в вашу пользу или, наоборот, что место, которое он занимает, может использоваться для чего-то еще.
Вот интересный пример. Принято считать, что гарантия возврата денег и дружелюбная политика в области возврата товаров подкрепляют решение людей о покупке, поэтому приводят к росту продаж. И чаще всего именно так и происходит.
Поэтому мы немало удивились, когда убрали гарантии с сайта одного из наших клиентов и заметили после этого рост доходов. Почему? Сайт продавал подарки для детей. Изучив проблему, мы обнаружили, что очень часто покупателями выступали дедушки и бабушки, приобретавшие что-то внукам. Последнее, о чем хочет думать дедушка, покупающий подарок для внука, это то, что с подарком может быть что-то не так и что, упаси господи, его придется вернуть. Гарантия возврата денег способна заронить в его душе зерно сомнения.
В экспериментах такого типа всегда следует тестировать одну переменную за другой по очереди. Это позволит вам выявить ценность каждого тестируемого элемента. Если вы хотите исследовать более одного элемента, протестируйте отдельные вариации (по формуле A/B/n) или проведите ряд последовательных тестов.
Большие и небольшие изменения
В области CRO идет немало споров о том, что лучше тестировать – большие решительные радикальные изменения или небольшие корректировки. Оба лагеря выдвигают сильные аргументы. Философия постепенного тестирования состоит в том, что вы последовательно проводите небольшие изменения, понемногу обеспечивая себе прирост. На рис. 9.1 приведен пример подобных изменений, протестированных на домашней странице мобильного сайта Cox & Cox. В контрольной странице (слева) каждая категория представлена изображением. В вариации (справа) изображения были исключены и заменены текстовыми ссылками. Вариация оказалась на 17 % эффективнее с точки зрения направления трафика на PDP (в чем и состоит цель стартовой страницы) и привела к росту дохода на 6 %.
В конечном итоге все эти небольшие изменения приводят к чему-то существенному. Проблема в том, что небольшим изменениям просто недостает масштаба для того, чтобы их эффект был заметным, соответственно, их результаты кажутся неопределенными. Трата времени на тестирование с неопределенными результатами означает, что вам сложно извлечь из своей работы осмысленные инсайты.
Радикальные изменения, такие как полный редизайн страницы, чаще обеспечивают значительные изменения в поведении и тем самым приводят к более заметному эффекту, как позитивному, так и негативному. Однако, если в вашем эксперименте участвует более одной переменной, вы не можете быть уверены в том, что работает в вашу пользу, а что мешает достижению результата. Чем больше параметров у вас есть, тем сложнее вам выявить причинно-следственные связи.
Радикальные изменения требуют больше времени для формулирования гипотез, создания каркаса и программирования. Если они приводят к позитивному приросту, то инвестиция себя оправдывает. В противном случае у вас не просто не возникает прирост, к тому же вам сложно узнать что-то новое. По данным платформы для CRO под названием Experiment Engine, причиной лишь 16 % случаев значительного прироста было радикальное тестирование
[53].
Итак, речь идет о компромиссе между потенциальным влиянием (радикальным тестированием) и более точным знанием (постепенным тестированием). Нам представляется, что самым правильным подходом будет достижение некоего баланса между ними.
Как сделать выбор
Дело усугубляется тем, что понятие «радикальный» зависит от вашей перспективы и, следовательно, допускает различные интерпретации. Мы советуем придерживаться в первую очередь экспериментов, позволяющих вам учиться. «Радикальными» можно считать тесты, в которых имеется так много факторов, что вам сложно сделать четкие заключения, или те, для разработки которых требуется много времени. С нашей точки зрения, любой тест, позволяющий научиться новому в разумные сроки (вне зависимости от того, сколько переменных меняется), должен финансироваться из бюджета «постепенного тестирования».
Благодаря постепенному тестированию вы можете получать разные уровни инсайта с каждой итерацией и постепенно выстраивать себе путь к значительной победе. Дэниел Ли, веб-аналитик ведущего британского торговца велосипедами Evan Cycles, говорит о необходимости «приблизиться к идеальной точке оптимизации, а затем проводить вокруг нее новые итерации»
[54]. Вы находите оптимальное положение в системе координат (рис. 9.2) с помощью постепенного тестирования в сторону каждой области
[55]. К примеру, в главе 5 мы посоветовали вам выявлять ценностное предложение путем тестирования различных тем в сравнении друг с другом. В этом примере посетители лучше реагируют на гарантию цены, чем на другие заявления о ценности.
