Рис. 28. Благоприятная возможность и мерзкая неприятность реагируют по-разному
4.2. О том, насколько в реальности полезны научные исследования
Сейчас в интернете есть множество статей со словами «ученые доказали, что…» К сожалению, ученые редко что-либо доказывают. Особенно в социологии, психологии и прочих областях, где объектом исследования являются люди в различных сочетаниях, количествах и проявлениях. Если вы посмотрите на то, что пишут ученые в своих статьях (благодаря scholar.google.com у нас есть доступ к огромному массиву научных исследований из различных областей без необходимости визита в научную библиотеку), вы никогда не увидите что-то вроде: «Мы провели эксперимент и доказали, что кофе полезен» или «Мы долго работали и поняли, что спать нужно восемь часов». Если бы ученые исследовали влияние кофеина на организм человека, то, скорее всего, их вывод звучал бы примерно так: «Мы исследовали столько-то человек, давали им столько-то раз такое-то количество кофе, через столько-то времени мы измеряли такой-то параметр и по сравнению с контрольной группой заметили такое-то изменение этого параметра с таким-то значением доверительного интервала».
Или вот так: «Мы исследовали связь количества потребленного кофеина с ощущением бодрости после обеда, измеряя потребленный кофеин в литрах, а бодрость — при помощи опросов по шкале имени какого-то великого ученого, и увидели связь между этими параметрами — коэффициент корреляции Спирмена ноль целых сколько-то десятых при уровне значимости одна десятитысячная». И тут даже специалист не поймет, что это означает для отдельно взятого человека в обычной жизни. Ученые этим что-то доказали или все еще сомневаются? А если какая-то связь есть, что является причиной, а что следствием? Мало того, потом в этой же статье обязательно напишут: «Мы исследовали бодрость после обеда, но не уверены, что она влияет на бодрость перед ужином. В эксперименте мы использовали молотый кофе и не уверены в том, что аналогичные результаты могут быть получены на растворимом, — это направление нашей дальнейшей работы. А вообще мы благодарим кофейню за углом за поддержку наших исследований и еще сообщаем, что никакого конфликта интересов у нас нет».
Подавляющая часть научных работ в экспериментальной психологии и социологии — это исследование связей или корреляций. И очень часто не отягощенные интеллектом контент-мейкеры
[30], прочитав только аннотацию статьи (а зачастую лишь название), подменяют корреляцию причинно-следственной связью и бегут писать очередную статью с громким заголовком
[31]. Очень хорошую иллюстрацию тонкостей выводов на основе данных корреляционного анализа я нашел в учебнике по матстатистике для психологов Андрея Наследова
[32]: исследователь решил сопоставить размер стопы ребенка со скоростью решения арифметических задач и, к своему удивлению, обнаружил очень сильную статистически значимую корреляцию. И пойди пойми, то ли при росте стопы улучшаются способности к математике, то ли наоборот — при накоплении знаний в области математики растет стопа. А может, это просто с возрастом у детей растут и стопы, и математические навыки.
То, что корреляция не говорит о наличии причинно-следственной связи, авторы научных статей знают (это могут забывать те, кто по мотивам аннотации пишут затем статью в популярный блог), но есть еще один момент, который не дает нам прямо воспользоваться результатами исследований, — эргодичность. Точнее, ее отсутствие. Этим словом называют свойство системы, при котором я могу использовать знание, полученное при наблюдении большого количества объектов в один момент времени, для определения результатов большого количества наблюдений, но уже одного объекта. Например, я могу подбросить 100 монеток один раз и результат будет таким же, как если бы я подбросил 100 раз одну монетку. А вот любимый пример Талеба — игра в русскую рулетку — свойством эргодичности не отличается. Если 1000 человек сыграют один раунд в русскую рулетку, то в среднем 870 из них выживут, но если один человек сыграет в эту игру 1000 раз…
Рис. 29. Эргодичность
Примерно то же происходит и с научными изысканиями. Ученые часто исследуют большие выборки людей непродолжительное время, но полученные таким образом результаты далеко не всегда можно транслировать на себя самого (один человек и продолжительное время). Другими словами, если я напою 100 человек кофе и измерю прирост их продуктивности, я получу, скорее всего, не такой результат, как если бы я сам пил кофе 100 дней и усреднял свой прирост производительности. Именно поэтому научные работы могут быть полезными для учителя (имеющего дело со множеством людей), но они не настолько полезны для ученика (желающего изучить и улучшить одного себя).
Из-за отсутствия эргодичности и из-за того, что мы очень сильно отличаемся друг от друга, бывает опасно обобщать свой успешный опыт многих месяцев жизни или опыт каких-то известных личностей на других людей (подробнее об этом еще будет в
разделе 4.7). У Андрея Ломачинского есть довольно «чернушная» история, очень хорошо иллюстрирующая последствия неаккуратного переноса своего опыта на других людей. Называется «Метанол на опохмел»
[33]. Но предупреждаю: книга в общем и этот рассказ в частности — не для впечатлительных!
Например, рассмотрим некоторое гипотетическое исследование некой гипотетической методики для повышения личной эффективности. Предположим, что кто-то провел исследования и утверждает, что эта методика дает прирост производительности «в среднем на 16%». Тут стоит заметить, что «на данный момент не существует универсально принятого метода измерения производительности работников умственного труда или даже общего понимания его категорий» (это дословная цитата из исследования Нембарда и Рамиреса, где описаны два с лишним десятка различных подходов к измерению умственного труда с анализом ограниченной области применимости каждого из них
[34]). Тем не менее на минуту предположим, что авторы этого исследования смогли операционализировать и сделать измеримым это понятие хотя бы в каком-то приближении, пригодном для их собственных целей. Главное не в этом, а в том, что, скорее всего, это среднее было получено путем усреднения по группе испытуемых и, соответственно, ничего не говорит о том, как менялась производительность отдельно взятых людей с течением времени. Еще один момент, который упускается в научно-популярных публикациях, — указание среднего без указания дисперсии. Мой любимый пример (наверняка редактор вырежет): «У среднего человека одно яйцо и одна сиська». Яркий пример, когда дисперсия результата сравнима со средним значением.
