Прозрачность создает возможность критической оценки доказательств. Если Арчи Кокрейн в свое время писал, что необходимо проводить больше РКИ, сейчас, когда базы медицинских исследований содержат миллионы работ, мы столкнулись с другой проблемой – необходимостью интерпретировать противоречивые результаты и оценивать сами исследования. Вместо проблемы количества нужно решать проблему качества и применимости.
28 миллионов исследований
Именно столько содержит крупнейшая база научных публикаций PubMed, и большая часть из них касается медицины и здоровья. Не удивительно, что в PubMed можно найти исследование, посвященное практически любому вопросу. Мой личный топ включает эксперимент по изучению влияния кокаина на танец пчел, двойное слепое рандомизированное испытание, сравнивающее изменение уровня счастья после приема темного и молочного шоколада, а также эссе о пользе глупости в научных исследованиях. Но вне конкуренции исследование влияния ткани, из которой сделано нижнее белье, на сексуальную активность. По каким-то причинам автор не смог организовать эксперимент на людях и был вынужден использовать лабораторных крыс. Абстракт
[237] – краткое резюме исследования – стоит того, чтобы быть процитированным.
Эффекты ношения тканей разных типов на сексуальную активность были изучены на 75 крысах, которых разделили на пять равных групп: четыре экспериментальных и одну контрольную. Каждая из четырех экспериментальных групп была одета в трусы из одного из следующих типов ткани: 100% полиэстер, смесь полиэстер/хлопок 50/50, 100% хлопок и 100% шерсть. Сексуальная активность была оценена до, а также через 6 и 12 месяцев ношения трусов, а также через 6 месяцев после того, как трусы были сняты. Было посчитано соотношение (I/M) количества половых актов (I) к их попыткам (M). С помощью статического киловольтметра был замерен электростатический потенциал, генерируемый на пенисе и мошонке. Через 6 и 12 месяцев ношения трусов из полиэстера и полиэстер-хлопковой смеси значение I/M заметно снизилось по сравнению со значениями до ношения и с контрольной группой (p < 0,0001)… Значение I/M в группе хлопка и шерсти показало статистически незначимое изменение (p > 0,05) на 6-й месяц и значимое (p < 0,01) на 12-й месяц. Через 6 месяцев после того, как трусы были сняты, значения I/M вернулись во всех группах к уровню начала эксперимента. Трусы, содержащие полиэстер, генерировали, в отличие от остальных, электростатические потенциалы. Судя по всему, они могли создавать “электростатические поля” во внутрипенисных структурах, чем, возможно, и объяснялось снижение сексуальной активности крыс.
Впрочем, не спешите покупать шерстяное белье. Если вы внимательно читали предыдущие главы, то уже знаете, почему делать далеко идущие выводы из этого абстракта преждевременно.
Конечно, основная проблема огромного количества накопленных данных не в странных работах, а в том, что поднимающие серьезные вопросы клинические испытания и наблюдательные исследования приходят к взаимоисключающим выводам. Или имеют другие недостатки, которые мешают использовать их для принятия клинических решений. Увы, большого количества РКИ оказалось недостаточно. Поэтому понадобился еще один этаж пирамиды доказательств – работы, которые подверглись критическому анализу со стороны незаинтересованных специалистов.
Одной из первых попыток систематического критического анализа было введение большинством научных, в том числе медицинских, журналов механизма научного рецензирования. Его суть в том, что несколько независимых специалистов читают статью перед публикацией и пишут на нее отзыв. Если он негативен, например, рецензент считает, что исследование не очень ценно или плохого качества, статья не будет опубликована.
Идея хороша, но на практике работает не всегда. Существенным недостатком научного рецензирования является его непрозрачность: никто, кроме самого журнала, не видит рецензию и даже не знает, кто ее автор. Как следствие, качество рецензий бывает низким, они не всегда объективны. В худших случаях рецензирование может превратиться в полную имитацию. Качество многих публикаций наводит на мысль о том, что либо рецензенты их не читали, либо никаких рецензентов не было. В большей степени это касается журналов, которые берут с авторов деньги за публикацию.
Замечательный эксперимент провели три студента Массачусетского технологического института, создавшие SCIgen – программу, генерирующую случайные наукообразные тексты. Написанная программой статья Rooter: A Methodology for the Typical Unification of Access Points and Redundancy была принята в качестве материала компьютерной конференции, а авторы получили приглашение на ней выступить. Когда мистификация вскрылась, организаторы конференции отозвали приглашение, однако это не помешало создателям SCIgen снять помещение в здании напротив и выступать там с лекциями столь же случайного содержания. В России эксперимент повторил биоинформатик Михаил Гельфанд, который перевел статью на русский и отправил ее в якобы рецензируемый “Журнал научных публикаций аспирантов и докторов”. Заведомая бессмысленность не помешала статье “Корчеватель: алгоритм типичной унификации точек доступа и избыточности” получить положительную рецензию и быть опубликованной. Рецензент, если он существовал, не заметил даже встроенную в текст благодарность автора “профессору М. С. Гельфанду, привлекшему мое внимание к проблеме публикации случайных текстов”. Судя по всему, у пасхальных яиц, запрятанных глубже – в списке использованной литературы фигурировала статья автора по фамилии Софтпорн (от англ. soft porn, “мягкое порно”), – не было вообще никаких шансов привлечь внимание. Всего не менее ста рецензируемых журналов по всему миру опубликовали созданные с помощью SCIgen статьи.
Причины закрытости рецензирования понятны: никто не хочет нажить себе врагов среди коллег. Единственный способ обойти проблему – распределить оценку на очень большое количество экспертов. Поскольку журналы не могут себе позволить платить за рецензии сотням или даже тысячам специалистов, приходится полагаться на волонтеров. Внедрить такой подход пытается, например, система EvidenceAlerts, поддерживаемая канадским Университетом Макмастера. Она предлагает подписчикам отобранные статьи, прошедшие оценку панели из более чем пяти тысяч экспертов, выставляющих публикациям рейтинг доказательности.
Другой подход пыталась внедрить система PubMed. Экспериментальный сервис PubMed Commons давал возможность всем зарегистрированным пользователям оставлять комментарии к опубликованным статьям и обсуждать их. К сожалению, эксперимент провалился: за пять лет существования PubMed Commons к 20 миллионам содержащихся в базе работ было оставлено всего 6 тысяч комментариев, и проект закрылся. Критический анализ медицинских научных публикаций – процесс трудоемкий, и лишь у немногих хватает мотивации заниматься этим на общественных началах.
