Легкость
В данном случае это понятие имеет двоякий смысл – легкость создания сплит-теста и простота его внедрения внутри компании.
В любой организации имеется дефицит технических ресурсов. Для программирования обычного сплит-теста обычно требуется не больше нескольких часов, однако, если тест достаточно сложен, его разработка может занять намного больше времени. Перед тем как загрузить дорогостоящих программистов созданием сложного эксперимента, стоит убедиться в том, что он принесет свои положительные плоды.
Поскольку предсказать исход теста невозможно, вам стоит присвоить менее важный приоритет сложным в реализации тестам. Это не значит, что у вас не дойдут до них руки, – скорее, это делается для того, чтобы не тормозить процесс в самом начале, когда важно набрать нужный импульс.
Также подумайте о том, сможет ли компания действительно внедрить необходимые изменения в случае успеха теста. К примеру, если вы тестируете возможность привозить клиентам заказанные продукты через час после оформления заказа, но ваша компания не в состоянии делать это на практике, то такой тест не может считаться срочным.
Сложности могут также иметь политическую природу. Вероятно, вам придется побороться за возможность провести те или иные эксперименты. Стоит ожидать, что некоторые ваши идеи столкнутся с противодействием. Со временем, по мере того, как вам начнут больше доверять, такое сопротивление снизится. Но пока этого не произошло, с умом выбирайте свои будущие сражения.
Зачастую многие организации считают, что стартовая страница их сайтов – это «святая святых». Так, веб-команда одного хорошо известного ретейлера из мира моды верила, что у стартовой страницы сайта есть большой потенциал, однако ей оппонировал отдел маркетинга, обеспокоенный тем, что тестирование может привести к появлению чрезмерно навязчивых сообщений для покупателей, а это повредит бренду.
Чуть позже специалисты по маркетингу сдались, но только после того, как сами убедились в ценности сплит-тестирования. Им стало интересно узнавать что-то новое. Они научились отказываться от ничем не обоснованных утверждений в ходе споров и согласились с тем, что стартовая страница может стать хорошим полигоном для тестирования.
Мы даже слышали, что один гигантский международный бренд исключает из экспериментов внутренние IP-адреса – это делается для того, чтобы определенные сотрудники не заметили изменений на сайте!
Система Additive
Система Additive представляет собой иной способ распределения приоритетов, позволяющий превратить список ваших идей в действенный план. Возможно, этот метод покажется вам более удобным, если вам нужно больше контроля и гибкости, чем позволяют другие схемы.
К примеру, руководители организаций часто давят на своих подчиненных с целью поскорее провести тот или иной тест, даже если ничто не говорит о том, что это приведет к улучшению ситуации. Проведение теста только потому, что этого хочет ваш генеральный директор, может испортить ваши усилия по оптимизации и в конечном итоге ваши результаты. Кроме того, занимаясь этим тестом, вы не работаете над чем-то другим, не менее важным. Ваши ресурсы не бесконечны, поэтому время и усилия, потраченные на этот тест, зачастую не позволяют провести другой, способный продемонстрировать более весомые результаты. Но если вы вынуждены «просто сделать это», у вас нет никакого реального выбора. Система Additive позволяет справляться с подобными ситуациями за счет добавления параметра стратегической важности
[49]. Для использования Additive System сначала создайте список соображений, уместных для вашей ситуации. Затем добавьте один балл, если соображение соответствует тому или иному условию, и ноль баллов, если нет. Пример того, как это работает, можно увидеть в табл. 7.4.
Возможно, вы захотите адаптировать систему к вашим собственным потребностям и использовать свои заголовки и названия. Советуем вам не относиться к этому занятию слишком рьяно, потому что вас и без того может утомить постоянное изучение слишком длинного списка соображений. В то же время, если в вашей таблице будет слишком мало контрольных точек, в итоге у вас останется лишь несколько идей, имеющих равное количество баллов.
Это всего лишь две системы из тех, которые вы можете использовать. Возможно, вы обнаружите, что хотите адаптировать их или разработать что-то иное, больше подходящее к вашей бизнес-модели. Самое главное – возможность приоритизации. Любая система – это лучше, чем ничего. И то, что начиналось как пустая электронная таблица, теперь представляет собой ценную дорожную карту для вашей программы тестирования с несколькими идеями, готовыми к реализации, и другими, требующими дополнительной работы.
Резюме
План оптимизации содержит в себе все ваши идеи для сплит-тестов и помогает вам отслеживать статус каждой из них.
Он начинает свою жизнь как неупорядоченный перечень идей, который вы дополняете новыми. Для создания идей вам понадобится процесс, предполагающий тщательное изучение всех имеющихся у вас данных для выявления инсайтов. К основным техникам, помогающим вам совместить все воедино и получить полную картину, относятся манипуляция, триангуляция и визуализация данных.
Первая стадия для любой зрелой идеи – это корзина для каркаса. Вы создаете формальное письменное заявление о гипотезе и сам каркас. Затем он проходит через разные корзины от момента начала и до момента завершения эксперимента. Идеи, не готовые к включению в каркас, группируются для дальнейшей работы. Для их выявления необходимо более глубоко изучить данные (корзина «Исследования») или разместить на сайте дополнительные инструменты исследования (корзина «Инструменты»).
После того как у вас появляется список идей, следующая важная задача – приоритизировать их. Исследования доказали, что случайный отбор идей приводит к посредственным результатам.
Для качественного отбора идей может использоваться один из двух методов – схемы EPE и Additive System. EPE нацелена на максимально возможное исключение субъективности из решений, а Additive System может быть более гибкой и адаптивной для потребностей вашей организации. Итак, теперь вы готовы начать свои первые сплит-тесты.
08
Гипотезы и творческая работа
Что такое гипотеза?
Если сплит-тестирование можно считать основой успешной оптимизации сайта, то хорошие гипотезы – ключ к постоянному успеху. Именно в этом и состоит различие между результативной программой оптимизации и простым набором часто проводимых A/B-тестов.
