Итерации и обучение
Ошибки — это порталы открытий.
Джеймс Джойс
В предыдущей главе мы говорили о том, что недостаток подотчетности был назван одной из основных проблем в отношении людей, принимающих решения. Кто-то должен «вести счет», не только чтобы люди, принимающие решения, за них отвечали, но и чтобы у компании была возможность учиться и расти. Например, предпринимая определенные действия на перспективу, такие как построение прогнозных моделей, важно не забывать о петле обратной связи, в рамках которой вы проводите регулярный обзор результатов, изучаете отдельные случаи (так называемый анализ ошибок), выясняете, где вы могли бы действовать эффективнее.
Какое-то время я был специалистом по работе с данными в компании One Kings Lane — интернет-магазине по флеш-распродажам товаров для дома. Каждое утро мы предлагали пользователям 4 тыс. наименований товаров, 60 % из которых не выставлялись ранее. (Все эти предметы были в ограниченном количестве, и мы продавали их в течение трех дней или пока товар не закончится, в зависимости от того, что происходило быстрее.) Мы с коллегами строили наборы моделей, прогнозирующие, сколько товаров будет распродано к концу одного дня и к концу трех дней. У нас был дашборд, отражавший наши ошибки прогнозирования. Каждое утро мы проводили около часа, изучая и анализируя эти ошибки. Почему нам не удалось правильно спрогнозировать продажи этих ковриков? Действительно ли пользователи случайным образом выбирают между очень похожими товарами? Наша повседневная рутина превращалась в увлекательное занятие, частично потому, что мы относились к этому как к дружескому соревнованию. Мы обменивались идеями, начинали лучше понимать данные, и качество наших моделей неизменно росло. Причина была в постоянных итерациях и обратной связи, в непрерывном анализе пограничных случаев, в попытках их понять и улучшить общее качество.
То же верно и в отношении тестирования и экспериментов. Как уже говорилось в главе 8 и главе 9, интуиция часто нас подводит. Более половины онлайн-экспериментов ни к чему не приводят. Однако это совсем не провал, если вы анализируете причины и учитесь на своих ошибках.
На рис. 10.2 показана общая петля обратной связи. Вы планируете и проводите эксперимент, измеряете результаты, анализируете данные, интерпретируете результаты, делаете выводы, строите гипотезы и планируете новый эксперимент. Достигаете верхней точки и вновь начинаете движение по кругу. Планирование эксперимента — условное название для этого этапа. С таким же успехом его можно назвать построением модели или разработкой PR-кампании. Суть в том, что компания с управлением на основе данных должна извлекать максимальную пользу из любых данных, даже если это был «провал», учиться на своих ошибках и действовать дальше, продвигая бизнес.
Рис. 10.2. Петля обратной связи: планирование, измерение, выводы и повтор.
Источник: на основе рисунка Эндрю Фрэнсиса Фримена. Воспроизводится с разрешения
Этот аспект должен глубоко укорениться в корпоративной культуре компании. В компании с управлением на основе данных, где все сотрудники наблюдают за данными, любой может выдвинуть гипотезу и большинство сотрудников используют данные в работе, как правило, наблюдаются активная вовлеченность в процесс и заинтересованность. Сотрудники способны делать наблюдения и знают, что за их работой тоже наблюдают. Когда в компании четко определены цели, а сотрудники сосредоточены на основных KPI, им действительно важно, когда эксперимент проваливается или программа «взлетает». Они будут пытаться разобраться в причинах, чтобы улучшить процесс. Поддерживайте этот настрой и не останавливайтесь, если результаты A/B говорят о «провале», — воспринимайте это как процесс обучения, который позволит в будущем выдвинуть более удачную гипотезу.
Управление на основе данных требует гибкости и готовности вносить изменения и на уровне компании: по мере роста и развития компании вы должны быть готовы реорганизовать свои команды специалистов по работе с данными и изменить их место в структуре организации.
Как противостоять HiPPO
Гиппопотамы — одни из наиболее опасных животных в Африке. Не менее опасны HiPPO в переговорных.
Как уже говорилось в предыдущей главе, представители HiPPO не ладят с данными. Они принимают решения на основе собственного опыта, предвзятого мнения и интуиции, не обращая внимания на имеющиеся в их распоряжении данные. Это может быть плохо для бизнеса. Один из способов борьбы с этим явлением — сделать процесс принятия решений прозрачным и подотчетным. Если такие сотрудники принимают отличные решения, способствующие росту и развитию бизнеса, что ж, отлично — в конце концов, именно в этом и состоит ваша цель. Однако если качество их решений вызывает сомнения, их стоит попросить изменить подход к работе или указать на дверь. HiPPO оказывают крайне негативное влияние на корпоративную культуру компании, которая стремится действовать на основе данных. Принимаемые ими решения не всегда эффективны, а из-за их статуса в компании эти решения не подвергаются сомнениям. (Если вы помните комментарий, приведенный в предыдущей главе: «В большинстве компаний представлять данные, противоречащие точке зрения или намерениям HiPPO, — прямой путь к увольнению и попаданию в черный список сотрудников».) Иными словами, они препятствуют становлению в компании открытой корпоративной культуры, основанной на сотрудничестве, где каждый может предлагать собственные идеи, где сотрудники готовы честно признать: «Я не знаю, но давайте проверим» и где побеждают лучшие, объективные и подтвержденные данными выводы.
Не поймите меня превратно: иногда интуиция и опыт действительно могут играть весьма важную роль. В некоторых случаях у вас просто может не быть данных, особенно если вы действуете в новой области. Иногда данные бывают информативными, но кто-то должен принять окончательное решение, возможно, при наличии неопределенности или неизвестных данных. Говоря о HiPPO, я имею в виду именно тех людей, которые отказываются от использования доступных данных, особенно если раньше они уже принимали неудачные решения и если они ни перед кем не отчитываются, какое решение принимают. Представьте, каково аналитику работать (или бороться?) с таким руководителем. Если данные противоречат управленческим решениям, но руководителя это не волнует, это создает ситуацию противостояния, которая редко заканчивается добром.
Руководство на основе данных
Никто не может сравниться с руководителем, ставящим во главу угла данные и анализ.
