Кроме того, на рынке существуют и специализированные инструменты по управлению проектами CRO типа Effective Experiments, Experiment Engine и Iridion. Как объясняет опытный оптимизатор и основатель Effective Experiments Мануэль да Коста, «программа оптимизации – это работа, занимающая много времени, требующая анализа данных и проведения множества тестов. Мы обнаружили, что команды часто теряют эффективность и перестают отслеживать все происходящее в их работе». Описанные выше инструменты могут значительно упростить ваш труд благодаря интеграции в рамках одной платформы работ по созданию дорожных карт, управлению проектом и формированию отчетов.
Как приоритизировать идеи
Итак, процесс формулирования идей позволяет вам легко создавать десятки, если не сотни, идей, требующих дальнейшего изучения. Вы уже произвели первичный отбор и отправили идеи, требующие дополнительной работы, в процесс разработки, то есть отложили их на потом.
В итоге у вас остаются идеи, готовые для формирования каркаса. Однако с чего начать? Понятно, что вы не можете протестировать все сразу, так что же вам нужно проверить прежде всего? Какими идеями вы можете пожертвовать без ущерба для себя и вернуться к ним позже?
Приоритизация идей – одна из самых важных частей пазла, поскольку, как говорит Билл Гейтс, «приоритизация – это и есть эффективность»
[46].
Очевидно, что вы хотите прежде всего заняться идеями, которые, как вам кажется, обеспечат самый высокий прирост дохода с минимальными усилиями. К сожалению, предсказать это невозможно, здесь часто ошибаются даже опытные оптимизаторы. У вас нет магического хрустального шара, который сообщит, какие идеи окажутся выигрышными. Тем не менее есть способы понять, какие идеи имеют самые высокие шансы на успех и заслуживают первых мест в вашем списке.
На этом этапе вы можете выбрать, каким образом проводить оценку идей. Вы можете проранжировать их по определенным логическим принципам или же случайным образом «прошерстить» список и выбрать те идеи, которые кажутся вам самыми интересными или легкими для реализации. На отраслевом жаргоне этот второй метод описывается аббревиатурой RATS (Random Acts of Testing – тестирование случайным образом). Он распространен на удивление широко, однако, по сути, ничем не лучше игры в лотерею, и мы считаем, что применять его – значит напрасно растрачивать ценное время.
Команда Optimost доказала это, когда выбрала случайным образом тесты для проекта по оптимизации, уже успешно проведенного. Большинство тестов предсказали незначительный прирост прибыли, их результаты совершенно не отражали общего успеха проекта
[47]. Это эксперимент позволяет понять, почему вам стоит тратить время на поиск идей с самым высоким потенциалом ROI (Return on Investment, рентабельность инвестиций). Поэтому уделите достаточно времени ранжированию своего списка в порядке приоритетности с использованием системы, основанной на объективных критериях.
Практики CRO используют для приоритизации несколько систем. На рынке хорошо известны схема PIE, разработанная Крисом Говардом, модель Time-Impact-Resources Брайана Айзенберга и Additive System, рекомендованная платформой для тестирования Optimizely
[48].
Используемая в AWA модель была разработана нашей внутренней командой, занимавшейся оптимизацией, и включает в себя элементы всех этих схем. Мы называем ее EPE – с одной стороны, это сокращение слов Evidence, Potential, Ease (свидетельства, потенциал и легкость), а с другой – произносится как épée, то есть «меч», с помощью которого вы прорубаете себе путь к победе.
Схема «Данные‒потенциал‒легкость»
Оцените каждую идею по пятибалльной шкале по трем различным критериям (данные, потенциал и легкость), используя в качестве руководства табл. 7.3.
Данные
По своей сути система, о которой мы рассказываем в этой книге, способствует отказу от инстинктивных решений. Вместо этого вы следуете объективному и основанному на данных подходу. К этому моменту вы уже прошли немалый путь и собрали данные в поддержку тестируемых вами идей; теперь пришло время взвесить и оценить их. Понятно, что степень убедительности разных идей будет различной. Относительно каждого элемента в списке спросите себя: как много данных у вас есть для этой идеи? Насколько качественны эти свидетельства?
Прежде всего при оценке силы данных следует понять, сколько различных источников данных указывают на одну конкретную область. К примеру, тестирование юзабилити привело к потенциально важному наблюдению, однако оно касалось всего одного пользователя. При отсутствии других аналогичных данных у вас нет оснований считать, что эта проблема имеет высокий приоритет.
Однако, если на ту же проблему указывают и данные Google Analytics (GA), у вас есть веская причина повысить ее приоритетность. По мере того как все больше источников данных придают наблюдению вес, его важность повышается. Чем больше данных, тем выше должен быть вес вашего наблюдения.
Вот почему так полезно оценивать каждую идею из вашего списка по нескольким источникам данных. Посмотрите еще раз на приведенную выше табл. 7.1. Легко заметить, что Идея 1 подкрепляется большим количеством свидетельств. Создайте столбец «Итого» и сложите все значения 1 в каждой строке.
При этом важно оценивать качество данных, стоящих за каждой идеей. Никакое интересное и причудливое предположение не может иметь столь же высокий вес, что и информация, основанная на объективных данных.
Потенциал
Оценка потенциала предполагает определенную степень субъективности, но не 100 %-ную субъективность. Попытайтесь сделать ее максимально объективной, принимая во внимание факторы, перечисленные ниже.
• Показатель утечки в воронке.
• Серьезность проблемы с юзабилити.
• Количественные индикаторы.
• Расстояние до момента конверсии.
