К примеру, измерение уровня сахара с помощью глюкометров
[395], берущих кровь из пальца, менее точно в домашних условиях, чем в контролируемых, потому что люди в быту гораздо менее внимательно следят за чистотой проб и реже моют руки
[396]. Лекарства, демонстрировавшие высокую действенность в условиях эксперимента, когда их принимали в одно и то же время каждый день, могут оказаться куда менее эффективны в реальности, когда график приема соблюдается не так четко. Итак, если исходить из простого допущения, что эффективность вмешательства будет такой же, как та, что наблюдается в условиях контролируемого эксперимента или исследования с другой выборкой участников, ее показатель может оказаться завышенным. Пациенты решат не принимать лекарство в нужное время и в правильных дозах или прервать курс лечения.
Вероятность расхождения (и его степени) между действенностью и эффективностью влияет на выбор вмешательства. Есть ли у нас основания верить, что можно поддерживать эффект аналогичного уровня в реальных условиях? Выбирая воздействие, мы должны не только проверить, какие из них работают (например, что действительно снижало калорийность блюд в заказе), но и в какой степени (например, на сколько именно снизилась жирность в расчете на заказ). Если в идеализированных условиях, которые, как правило, представляют собой самый оптимистичный сценарий, калорийность заказанных блюд снизилась незначительно, следует скептически отнестись к возможности существенно увеличить эффект в реальности. Точно так же нужно учитывать распределение степени воздействия эффекта. Если в среднем питательность блюд снизилась незначительно, стоит определить, будет ли этот показатель одинаковым при всех условиях или же среднее значение затемняет нижний и верхний экстремумы (в одном месте калорийность намного выше, в другом – намного ниже).
Понимание, как установочные параметры вмешательства могут отличаться от условий, принятых в исследованиях, которые выявили причинную зависимость, поможет спрогнозировать потенциальные неудачи и разработать стратегии воздействия, чтобы избежать провала.
Итак, одно из соображений, которые следует учитывать, принимая решение о вмешательстве, – это не только степень его эффективности, но и возможность его успеха с учетом реально существующих условий.
Непреднамеренные последствия
Выборочный эксперимент под названием Tennessee STAR program («Программа звезд Теннесси») обнаружил, что ученики из классов меньшей численности лучше сдавали стандартизированные экзамены, чем школьники из классов большей наполняемости
[397]. В этом случае нам известны подробности эксперимента с сокращением учащихся в классах. С помощью рандомизации групп эксперты устранили влияние любых факторов, которые могут стать причиной одновременно классов меньшей численности и лучших оценок на экзаменах. В конце концов, школы с малыми классами могут показывать лучшие результаты из-за чего угодно, и может оказаться, что небольшие классы – просто индикатор присутствия неких атрибутов.
Сомнения относительно больших классов в Калифорнии и положительные результаты Tennessee STAR program вызвали к жизни инициативу стоимостью в несколько миллиардов: сократить размеры учебных классов в Калифорнии
[398]. В теннессийском эксперименте ученики и учителя случайным образом были распределены по классам разных размеров. Чтобы стимулировать сокращение размеров классов, штат выплачивал бонус в размере 650 долларов на одного ученика.
Программа была быстро реализована, но, конечно, чтобы иметь небольшие классы и стабильную группу учеников, понадобилось намного больше учителей. Поскольку предложение преподавательских услуг не успевало за растущим спросом, возросла доля неопытных педагогов
[399].
Районы с низкими доходами и населенные главным образом этническими меньшинствами, где реализация программы заняла больше времени из-за недостатка аудиторий, оказались в невыгодном положении: учителей не хватало, а новых поздно вводили в проект. В результате более 20 % учителей, начавших работать в этих школах, не имели достаточной квалификации
[400].
И все-таки ВКЭ Tennessee STAR program дал возможность сделать ключевой вывод: от сокращения размеров класса максимальную пользу получили ученики из числа меньшинств. Быстрая реализация в Калифорнии этого подхода как программы льгот для всех школ, которая привела к резкому спросу на учителей и конкуренции между ними, означала, что как раз те учебные заведения, которые получили бы максимальную выгоду от проекта, остались за бортом.
В итоге затея была сочтена неудачной. Любые заявления о ее преимуществах звучали неубедительно или незначительно, и считалось, что программа увеличила неравенство в области образовательных возможностей. В то же самое время, несмотря на очень скромный эффект вмешательства в Калифорнии, проект внедрялся далеко не бесплатно. Он стоил миллиарды долларов, которые не были использованы на другие цели, к тому же потребовал дополнительных помещений для классных комнат, которые приходилось откуда-то забирать, например у специального образования, компьютерных лабораторий и библиотек
[401].
Исследования, фокусирующиеся на доказательстве причинных зависимостей, в целом не занимаются подобным анализом стоимости/эффективности. Но этот момент очень важен с точки зрения реализации вмешательства, когда ресурсы ограничены и выполнение одной вещи означает, что сделать другую уже не получится
[402].
В маломасштабной программе сокращения численности классов в Теннесси участвовали только школы, где уже имелось достаточно места для новых групп, а сам масштаб эксперимента был недостаточен, чтобы вмешаться в спрос на педагогический персонал.
Чтобы успешнее просчитать эффективность программы в Калифорнии еще до реализации, понадобилось бы учесть контекст и ограничения (например, наличие места) и определить, как изменятся другие переменные, например ресурсы, которые придется направить на реализацию этого проекта, забрав у других.
Непреднамеренные последствия принимают разные формы. В простейшем случае вмешательство имеет побочный эффект, означая, что оно становится причиной не только запланированного исхода, но и других моментов. К примеру, лекарство может снимать головную боль, одновременно вызывая слабость. Это, правда, не изменяет присущих системе свойств. С другой стороны, одна из проблем с прокатом велосипедов заключается в возможном ее негативном влиянии на здоровье, если, например, в программе примут участие неопытные велосипедисты, а езда на этом транспорте в городах – дело небезопасное.
