Это были первые шаги Кохрана в создании доказательной медицины. Однако его стремление к проведению контролируемых экспериментов часто вызывало непонимание. Однажды он предложил проверить различные варианты наказания для школьников, отличающихся плохим поведением, – выговор, стояние в углу или порка. Однако он поначалу не смог найти никого, кто решился бы выпороть школьника в рамках контролируемого эксперимента. Кохран видел вещи не так, как другие: по всей стране школьников ежедневно пороли, и Кохран искренне сомневался в том, что это приемлемый способ наказания. Он не надеялся доказать, что порка – слишком жестокое наказание. Но он был уверен, что сможет дискредитировать порку и доказать, что такое наказание не срабатывает. (В частности, в рамках этого эксперимента удалось доказать, что стояние в углу как наказание за опоздание менее действенно, чем выговор.)
Как-то раз Кохран хотел провести контролируемый эксперимент в больничных палатах, где лечили страдающих коронарной недостаточностью. Он хотел выяснить, где при таком заболевании лучше находиться больному – в палате или дома. В одном городе консультанты заблокировали проведение этого эксперимента «по этическим соображениям». Заметив, что его коллеги предъявляют к нему более высокие этические требования, чем к себе, он решил сыграть с ними шутку при публикации предварительных результатов. Он представил им доказательства того, что в домашних условиях люди умирают чаще, хотя и на статистически незначимую величину, но тем не менее этот факт вызывает тревогу.
«“Арчи, – сказали ему, – мы всегда считали, что вы нарушаете этику. Вы должны немедленно остановить эксперимент”, – вспоминал позднее Арчи Кохран. – Некоторое время я позволял им высказываться. Затем признался, что извратил статистику. Именно в больничных палатах для лечения больных с коронарной недостаточностью результаты были хуже, чем в домашних условиях. Захотят ли эксперты по коронарным заболеваниям немедленно закрыть свои палаты? Наступила мертвая тишина, а мне стало нехорошо, потому что, как бы там ни было, а передо мной сидели коллеги».
Нетрудно понять, почему идея проведения контролируемых экспериментов вызывала отвращение у специалистов по коронарным болезням. Арчи Кохран имел смелость понять, что альтернативой контролируемому эксперименту является неконтролируемый эксперимент, а он хуже хотя бы потому, что, по сути, ничему нас не учит.
Во время войны, уже после экспериментов с витамином С и «Мармайтом», Кохрана перевели в Эльстерхорст, в госпиталь для военнопленных. Однажды поздно ночью в его палату был доставлен молодой русский солдат. Он был в тяжелом состоянии и постоянно стонал. Кохран взял его в свою комнату, потому что не хотел, чтобы тот своими стонами будил остальных больных в палате. Однако он понимал, что ему нечем избавить человека от боли, которая возникла из-за резко обострившегося плеврита.
«У меня не было морфия, а только аспирин, который в таких случаях не действует. Я был в отчаянии. Тогда я почти не говорил по-русски, а остальные больные вообще не знали его. Все, что я мог сделать, – это сесть на кровати больного и взять его на руки. Почти сразу же стоны прекратились. Несколькими часами позже он спокойно умер на моих руках. Он стонал не от плеврита, а от одиночества. Это был прекрасный урок того, как надо ухаживать за умирающим».
Арчи Кохран настаивал на необходимости собирать доказательства того, какие методы лечения более действенны, вместо того, чтобы уповать на врача, как на Господа Бога. Он делал это не потому, что ему было все равно, что станется с больными. Он поступал так и жил так потому, что не мог иначе.
5. «Если мы не знаем, приносит ли пользу то, что мы делаем, то мы ничем не отличаемся от средневековых врачей с их пиявками»
Идея проводить выборочные проверки программ иностранной помощи довольно нова, и ее история короче, чем история медицины, хотя бы потому, что сама история иностранной помощи тоже короче. (Всемирный банк предоставил первый кредит в 1949 г., и реципиентом была Франция.) Контролируемые эксперименты в рамках программ международного развития стали проводиться недавно благодаря группе молодых исследователей, которых называют рандомистами.
«Если мы не знаем, приносит ли пользу то, что мы делаем, то мы ничем не отличаемся от средневековых врачей с их пиявками, – говорит рандомистка Эстер Дуфло. – Иногда пациент выздоравливает, иногда – умирает. Виноваты пиявки? Или что-то другое? Мы не знаем».
Три эксперимента, проведенные в конце 1990-х гг. в Кении, показывают, почему выборочные проверки могут быть так полезны для программ развития. Голландская благотворительная организация «Международный христианский фонд поддержки» финансировала программу содействия школам, проводимую кенийским правительством в округах Бусия и Тесо. Фонд оплатил учебники по английскому языку, естествознанию и математике 25 школам. Однако вместо того, чтобы выбрать 25 особо нуждающихся школ или 25 школ, у которых были прочные связи в руководстве страны, три рандомиста – Майкл Кремер из Гарварда, Пол Глевве из университета штата Миннесота и Сильвия Мулен из Всемирного банка – поступили очень просто: они выбрали 25 случайных школ из 100 учебных заведений, внесенных в список кенийским правительством.
Все традиционные статистические методы свидетельствуют о том, что наличие учебников способствует повышению успеваемости. Однако, как и гипотеза Джеймса Линда о том, что цинга вызывается отсутствием пива, такое заключение может быть статистическим обманом. Если школа оснащена учебниками, это может свидетельствовать о том, что у детей богатые родители или учителя имеют хорошие связи, и эти незаметные для статистики факторы будут влиять на успеваемость.
Когда Глевве, Кремер и Мулен анализировали свою случайную выборку, они не нашли доказательств того, что учебники полезны, по крайней мере в данном контексте. Самые способные ученики извлекают из учебников пользу, а остальные никакой пользы в учебниках не видят. Быть может, это объяснялось и тем, что учебники были ориентированы на более продвинутых учеников из столичного Найроби и написаны по-английски, а для детей победнее это, как правило, третий язык.
Большинство организаций, работающих с программами развития, никогда бы не выполнили работу с такой тщательностью. Скорее, вместо этого они заказали бы исследование, которое доказало бы пользу учебников. Однако голландский фонд хотел знать, стоит ли поддерживать программу закупки учебников, и понял, что это не имеет смысла.
Вместо того чтобы опустить руки или выпустить брошюры в глянцевых обложках, фонд решил провести второй эксперимент, в рамках которого учителям выдавали карты-раскладушки, которые нужно было использовать в качестве наглядных пособий. Были изготовлены карты по естествознанию, здравоохранению, математике, географии и сельскому хозяйству. Такой подход оказался эффективнее учебников: выразительные картинки помогали тем ученикам, которые плохо читали или лучше воспринимали не текстовую, а визуальную информацию. Стандартные статистические методы тоже говорили в пользу большей эффективности наглядных пособий. Фонд получил список из 178 школ и распределил свои наглядные пособия в половине из них, причем выбранных случайно. Однако и этот эксперимент в конечном итоге потерпел неудачу, так как не привел к существенному росту успеваемости.
