Избегайте множественных вариаций
Чем больше вариаций есть в вашем тесте, тем больше должен быть разделен ваш трафик. Если ваша небольшая выборка должна быть разделена на три группы вместо двух, вам понадобится больше трафика. Советуем придерживаться A/B-тестов и проверять каждую вариацию по очереди.
Нацеливайтесь на зоны с высокой посещаемостью
Чем дальше вы продвигаетесь по воронке путешествия ваших клиентов, тем меньше будет объем трафика. Обычно страницы с оформлением заказа видит лишь часть посетителей, изучающих страницы с деталями продукта. Значение для страницы корзины находится где-то между ними. В противовес этому выступает факт того, что чем ближе вы ко входу воронки, тем ниже будет коэффициент конверсии при покупке. Таким образом, эта тактика вынуждает вас использовать показатели микроконверсии, а это может оказаться далеко не так полезно, как RPV и коэффициент конверсии при покупке.
Как избежать распространенных проблем при тестировании
После всех усилий последнее, чего вы хотите, чтобы результаты теста были признаны недействительными в результате технических сбоев или того, что сплит-тест заставил ваш сайт зависнуть. Вот несколько советов, которые помогут вам этого избежать.
Правильно внедряйте инструменты
Мы не шутим! Убедитесь, что вы следуете инструкциям поставщика инструмента до последней буквы. Проверьте, что программа правильно запускается. Нам часто доводилось видеть, как что-то начинает идти не так просто из-за того, что какой-то элемент оказывался не в надлежащем месте на странице. Мы не рекомендуем использовать для размещения элементов инструмент управления тегами.
Проведите оценку программного кода
Такая оценка позволяет вам вычленить нетипичные страницы или непоследовательности в программе на сайте, способные повлиять на проведение эксперимента или на отбор представителей аудитории. Также убедитесь, что на сайте присутствуют самые свежие версии всех необходимых библиотек JavaScript.
Проведите контроль качества для вашего теста
Не запускайте тесты без предварительного и серьезного контроля качества. Нам и самим часто удавалось выявлять во время этой процедуры проблемы, которые значительно сократили бы продажи, если бы мы запустили тест в работу по полной программе. Проверьте, что все правильно работает во всех основных браузерах. Не ограничивайтесь страницами, на которые нацелен эксперимент. К примеру, если тест проводится на странице с деталями продукта (PDP), пройдите через весь процесс добавления продукта в корзину и перехода к странице корзины.
Изучите работу теста на всех имеющихся у вас браузерах, но не ограничивайтесь этим. Используйте один из эмуляторов браузеров (их список приведен в главе 4), чтобы заполнить пробелы в знаниях. Проделайте то же самое для различных типов устройств и даже разных размеров экрана, если ваш тест нацеливается на различные виды устройств.
Снижайте уровень мигания
Время от времени может случаться так, что вариация появляется в окне браузера не сразу. Иногда это приводит к тому, что пользователь сначала видит изначальный вариант оцениваемой страницы, а лишь затем, через пару секунд, – вариацию. Это может раздражать и, что еще важнее, влиять на результаты вашего теста.
Чтобы этого избежать, размещайте программу для инструмента на странице в точности так, как было рекомендовано поставщиком. Если вы все же столкнетесь с подобным «миганием», попросите своих разработчиков попробовать один из следующих методов.
Последовательная загрузка: сделайте так, чтобы программа для вашего теста запускалась как можно раньше и чтобы вариация последовательно подгружалась поверх изначальной страницы. Недостаток этого метода состоит в том, что программе потребуется дополнительная логика для загрузки различных элементов, что занимает больше времени и усложняет код.
Заглушка: этот малоизвестный трюк состоит в том, что вы добавляете к контрольной странице небольшую программу, которая не позволяет ей загружаться некоторое время, пока грузится вариация. В этом смысле вариация не страдает от того, что скорость загрузки ее страницы изначально чуть ниже. Это простой вариант решения проблемы, однако менее предпочтительный, поскольку замедляет появление контрольной страницы, пусть даже на несколько миллисекунд.
Ограничьте изменения во время эксперимента
Не делайте никаких изменений в активном тесте. Если исправления действительно необходимы, вам следует приостановить тест, затем клонировать его и запустить заново. Также старайтесь не вносить изменений в программный код сайта в областях, где проводятся эксперименты. Программа, описывающая вариацию, может иметь связи с некоторыми на первый взгляд не важными элементами на странице.
Даже небольшие изменения текста способны помешать успешному проведению тестирования. Везде, где можно, вам нужно делать программу для тестирования максимально адаптируемой, так, чтобы она могла легко справиться с небольшими изменениями. Не забудьте регулярно знакомиться с изменениями в системе приемочных испытаний (user acceptance testing, UAT).
Осторожно относитесь к параллельно проводимым экспериментам
Профессионалы часто спорят, насколько оправданно одновременное проведение множества экспериментов. Распространенное (и убедительное) мнение гласит, что вам не стоит проводить более одного эксперимента в единицу времени, поскольку два или более одновременно проводимых теста способны помешать друг другу, искажая результаты. Этот риск можно ограничить двумя путями. Прежде всего никогда не проводите два и более эксперимента в той же области сайта. К примеру, один ваш эксперимент может быть нацелен на страницу с деталями продукта (PDP), а другой – на страницу для оформления заказа. Если вы это делаете, внимательно изучите, как один из них может повлиять на другой. Более правильным будет проводить параллельные и взаимоисключающие тесты (иными словами, каждый посетитель может участвовать лишь в одном из них).
Контролируйте влияние сезонности
Сезонные эффекты могут вынуждать ваших клиентов вести себя по-другому. К примеру, мотивация к покупке обычно оказывается выше в предрождественский период и в периоды масштабных распродаж. Не отказывайтесь от тестирования в эти периоды. Если значительная доля вашего годового дохода приходится на те или иные пиковые периоды, вам стоит провести оптимизацию именно для них. Кроме того, рост трафика позволяет вам быстрее получить более точные результаты.
Чтобы проверить степень влияния сезонности, вы можете провести аналогичный тест в другом временном периоде. Также вы могли бы оставить работающий тест на сайте и перенастроить его так, чтобы 95 % трафика видели выигрышную вариацию, а оставшиеся 5 % – контрольную страницу. Эффект от этого проявится со временем, как будет объяснено ниже. Очевидно, что, если основная часть вашего дохода формируется в пиковые периоды, будет неправильным отключать тест на это время.
