Как они могли оценить эффективность именно этой рекламы? Никак. Если ничего не менять, то выяснить это невозможно.
— Что если, — предложили мы, — компания проведет эксперимент, чтобы все выяснить? В науке случайная контрольная выборка является золотым стандартом исследований уже сотни лет, но почему же все лавры должны доставаться ученым?
Мы описали эксперимент, который могла бы организовать компания. Надо выбрать по всей стране 40 регионов с нормальными продажами и разделить их случайным образом на две группы. В первой группе компания продолжит давать рекламу каждое воскресенье, а во второй полностью уйдет в тень: ни одного объявления в течение трех месяцев. Затем результаты продаж в двух группах сравниваются и становится понятно, насколько печатная реклама важна.
— Вы с ума сошли! — воскликнул директор по продажам. — Мы не можем уйти в тень в 20 регионах. Генеральный директор убьет нас.
— Да, — подхватил другой, — это будет как с тем парнем в Питтсбурге.
— Что за парень?
Они рассказали о стажере, который должен был обзвонить питсбургские газеты и заказать воскресную рекламу на все лето. По какой-то причине задание он не выполнил, и за все лето компания не дала ни одного объявления в газетах Питтсбурга и окрестностей.
— Да, — подтвердил один из директоров, — нас тогда чуть не уволили за это.
— Так что же произошло с продажами компании в Питтсбурге? — спросили мы.
Они посмотрели на нас, потом друг на друга и были вынуждены признать, что им и в голову не пришло проверить цифры. Когда же подняли отчеты, результат оказался шокирующим: полное отсутствие рекламы никак не повлияло на продажи в Питтсбурге.
Вот это, подчеркнули мы, очень ценные данные. Вполне возможно, что компания напрасно тратит сотни миллионов долларов на рекламу. И как руководство может с достоверностью выяснить, так ли это? Описанный выше эксперимент с 40 регионами намного приблизил бы к ответу.
— Итак, — спросили мы, — вы готовы попробовать сейчас?
— Вы с ума сошли! — снова воскликнул директор по продажам. — Нас всех уволят, если мы такое устроим!
Вплоть до сего дня каждое воскресенье в каждом регионе эта компания дает рекламу в печати, в то время как единственные достоверные данные, которыми она располагает, указывают на то, что эта реклама не работает.
Хотя предложенный нами эксперимент и показался ересью директорам компании, суть его крайне проста. Он позволил бы им получить данные, в которых они нуждались. Нет никакой гарантии, что результаты порадовали бы их: может, им следовало бы увеличить рекламный бюджет или реклама показала бы свою эффективность только в некоторых регионах. Но по крайней мере у них был бы хоть намек на то, что действительно работает, а что — нет. Прелесть хорошего эксперимента в том и заключается, что одним простым движением вы лишаете задачу той сложности, которая мешает видеть причины и следствия.
Тем не менее эксперименты такого рода проводят крайне редко как в бизнесе, так и в некоммерческих организациях и государственных структурах. Почему?
Одна из причин — привычка. По нашим наблюдениям, многие организации принимают решения, основываясь на смеси неясных предчувствий, моральных убеждений и того, как решал вопросы предыдущий руководитель.
Вторая причина — недостаток знаний. Хотя нет ничего трудного в том, чтобы подготовить и провести небольшой эксперимент, большинство никогда этому не училось и потому опасается пробовать.
Есть и третья, главная, причина нежелания проводить подобные эксперименты: они требуют, чтобы кто-то признал свое незнание. К чему все эти хлопоты, когда вы и без того уверены, что знаете ответ? Вместо того чтобы попусту тратить время, вы быстро напечатаете рекламу, оплатите проект или примете закон, не особо заботясь, будет это работать или нет.
Тем не менее, если вы хотите думать как фрик и признаете ограниченность своих знаний, вы увидите, что с помощью хорошего вероятностного эксперимента можно решить любую задачу.
Очевидно, что не в каждом случае эксперимент уместен и возможен. Особенно это касается социальных вопросов. В большинстве стран (по крайней мере в большинстве демократических стран) вы не можете выбрать группу людей и приказать им, например, завести десять детей вместо двух или трех, или не есть ничего, кроме чечевицы, в течение 20 лет, или ходить в церковь каждый день. Вот почему важно быть внимательным к «естественным экспериментам», то есть к ситуациям, когда какие-то попытки изменить систему позволяют нам увидеть как раз те данные, которые мы получили бы, если бы имели возможность отобрать группу испытуемых и изменить их поведение.
Многие сценарии, описанные нами в предыдущих книгах, основаны как раз на естественных экспериментах. Когда мы пытались оценить последствия заключения в тюрьму миллионов людей19, нам удалось воспользоваться тем, что по судебным искам о гражданских правах в некоторых штатах власти были вынуждены отпустить на свободу из переполненных тюрем тысячи заключенных (ни один мэр или губернатор никогда бы не сделал этого добровольно). Анализируя связь между абортами и преступностью20, мы обратили внимание на тот факт, что легализация абортов в разных штатах растянулась во времени; это позволило нам лучше выделить ее последствия, чем в случае, когда она произошла бы везде одновременно.
Таким образом, естественные эксперименты важны настолько же, насколько редки эксперименты сознательные. Еще одна возможность — организовать лабораторный эксперимент. Социологи по всему миру проводят их сейчас тысячами. Они нанимают студентов, инструктируют их, как себя вести в различных ситуациях, и надеются понять все что угодно — от альтруизма и жадности до преступности. Такие эксперименты очень помогают исследовать поведение, недоступное наблюдению в реальных условиях. Их результаты часто приводят в восторг, но не обязательно дают нужную информацию.
Почему так происходит? Сценарии большинства экспериментов отличаются от сценариев реального мира, которые они пытаются воссоздать. Это всего лишь аналоги маркетинговых фокус-групп, перенесенные в академическую сферу: небольшое число специально отобранных добровольцев, помещенных в искусственную среду, которые стараются как можно точнее следовать инструкциям экспериментатора. Лабораторные эксперименты незаменимы в естественных науках. Отчасти потому, что нейтрино и амебы не меняют своего поведения, когда за ними наблюдают, а вот люди ― меняют.
Более надежный способ получить необходимые данные — провести полевой эксперимент21. Другими словами, вместо того чтобы пытаться воспроизвести реальные условия в лаборатории, перенести экспериментатора в реальный мир. Эксперимент идет, но его участники могут и не знать о нем, что положительно сказывается на достоверности полученных данных.
В полевом эксперименте ваша выборка может быть сколь угодно случайной, а ее размеры будут много больше, чем в случае лабораторного исследования. Вы будете иметь возможность наблюдать людей, реагирующих на реальные стимулы, а не на профессора, нависающего над ними. Грамотно проведенный полевой эксперимент может значительно улучшить решение проблемы.
