Таким образом, изначальный негативный результат должен восприниматься как инвестиция с позитивной отдачей. Оптимизация не предполагает одного только краткосрочного прироста. Намного важнее понять, что работает, а что нет. Эти знания со временем принесут серьезные дивиденды. Конечно, победы важны, но, если ограничиваться только ими, вы не сможете насладиться всеми выгодами тестирования.
На самом деле стоит подумать о том, что вы сможете узнать из отрицательного результата, заранее – в момент, когда вы создаете свою гипотезу для тестирования. Спросите себя: «Что я узнаю, если результат окажется негативным?» Если вы не можете ответить на этот вопрос, попробуйте изменить условия теста так, чтобы он оказался выигрышным вне зависимости от исхода.
Что делать, если ваш тест дает отрицательный результат
Ищите ответы во второстепенных показателях. Таким образом, вы можете создать повествование о том, как тест изменил поведение пользователя. Не так давно мы разместили на домашней странице одного клиента инструмент поиска продуктов, и это привело к негативному влиянию на RPV. Второстепенные показатели позволили нам связать воедино все произошедшее. Этим инструментом воспользовалось немало посетителей, что было неудивительно, с учетом того, что он действительно хорош. Однако это заставило их сойти с намеченного нами пути вдохновения и открытия нового, что было очень важным для данного конкретного сайта. Исследование результатов помогло нам понять, на чем сфокусировать усилия в будущем.
Сегментация после тестирования всегда важна, а в случае негативного прироста – особенно. Что это говорит вам о предпочтениях или поведенческих различиях между различными группами пользователей? Еще раз скажем: инсайты возникают благодаря тому, что вы задаетесь вопросом, почему эти сегменты показывают различные результаты. Запишите все, что вы узнали (это нужно делать по итогам любого теста). Как мы уже говорили выше, осторожно подходите к «тайным победителям», которых можно выявить в отдельных сегментах. Стоит провести отдельный тест, нацеленный именно на этот выигрышный сегмент, чтобы подтвердить ваши выводы.
Сделайте необходимые корректировки и проведите повторное тестирование. Если эксперимент базировался на гипотезе, основанной на данных (как и должно быть), то базовые наблюдения остаются неизменными. Возможно, вы просто не нашли правильного способа для отслеживания происходящего. Только когда у вас появится набор негативных итераций, это может служить сигналом к тому, что возможность была чрезмерно переоценена. Если это произойдет, задокументируйте инсайты и двигайтесь дальше.
Кейс. Thompson & Morgan
Компания Thompson & Morgan – лидирующий бренд в отрасли по торговле растениями, семенами и фруктовыми деревьями. Клиенты любят Thompson & Morgan за широкий ассортимент товаров, и многие тратят по нескольку часов на путешествие по сайту. Мы обнаружили, что огромное влияние на поведение покупателей оказывали изображения.
Страницы с перечнем продуктов (PLP) – важнейший элемент, с помощью которого посетители открывают для себя полный ассортимент товаров Thompson & Morgan. Мы выдвинули гипотезу о том, что демонстрация большего количества продуктов на PLP и использование более крупных изображений позволяют лучше продемонстрировать широту предложения и улучшат впечатления покупателей. Новый дизайн предполагал изменение типа PLP от списка к иному типу представления данных.
Результат эксперимента был негативным. Заранее предвидя, что это может случиться, мы сформулировали несколько возможностей:
• гипотеза о том, что большее количество изображений и более крупные изображения на PLP позволяют улучшить опыт покупателей, была неверной;
• основная информация о продукте, которая присутствовала в списке продуктов, но исчезла из нового дизайна, играла важную роль для принятия решения о покупке;
• демонстрация широты предложения фактически усложняла выбор (это явление известно под названием «парадокс выбора»).
Каждое из этих возможных объяснений позволяет развиться новым идеям, поэтому они привели к еще нескольким экспериментам в этой области. Мы обнаружили, что более крупные изображения улучшают впечатления посетителей, однако для них не менее важным было видеть основную информацию о продукте на этом этапе путешествия. Подобный инсайт был необходим нам для того, чтобы обеспечить выигрышные результаты на странице. А единственный способ узнать это был связан с тестированием и работой с отрицательным результатом.
Как работать с неоднозначными тестами
Неоднозначный результат означает отсутствие статистически важного отличия в любую сторону между контрольной страницей и вашей вариацией. Если такие результаты появляются слишком часто, это может быть знаком того, что вы недостаточно смелы. Более решительные тесты могут сместить баланс в ту или иную сторону. Также это может предполагать, что гипотезы недостаточно хорошо структурированы или что вы пытаетесь проверять недостаточно продуманные идеи.
В целом к таким тестам стоит относиться как к тестам с негативными результатами. Спросите себя, почему вы не видите никаких различий. Почему предложенное вами изменение не смогло повлиять на решение пользователей вести себя иначе? О чем это может свидетельствовать? Задокументируйте свой инсайт. Проведите сегментацию после тестирования и поймите, почему различные сегменты реагируют на ваше новшество тем или иным образом. Скорректируйте тест и проведите еще один эксперимент для исследования той же гипотезы или скорректируйте гипотезу перед повторным тестированием.
Документируйте результаты теста
Любое сплит-тестирование идет рука об руку с тщательным документированием результатов. Тест не считается завершенным, пока вы не запишете все необходимое. Также вам нужно привязать его результаты к плану оптимизации, чтобы эффективно использовать полученные вами новые знания. Дайте каждому тесту свое название, которое будет использоваться в качестве уникального идентификатора во всей документации.
База знаний
Создайте базу знаний, в которую можно заносить результаты и инсайты, а также детальную информацию о каждом сплит-тесте. База не должна быть слишком сложной. Все, что вам нужно, это электронная таблица в облачном хранилище, однако, возможно, вы захотите воспользоваться одним из инструментов управления CRO, перечисленных в главе 7. База представляет собой хранилище экспериментов, деталей проведенных тестов с указанием сроков и результатов, а также гипотез, инсайтов и заключений. Она может быстро превратиться в серьезный институциональный актив, выгоды от которого не ограничиваются оптимизацией сайта. После каждого результата сплит-теста обновляйте вашу базу знаний следующими данными:
• уникальный ID;
• описательный заголовок;
• тип теста;
• количество вариаций;
• целевая аудитория или сегменты;
• количество посетителей в расчете на вариацию;
