6. Насколько четко описан способ формирования групп?
7. Было ли исследование рандомизированным?
8. Было ли исследование слепым?
9. Сопоставлялся ли предлагаемый авторами метод с критериальным («золотым») стандартом?
10. Где, когда и в течение какого периода собирались данные?
11. Какими способами пытались бороться с ошибками?
12. Как анализировались количественные переменные?
13. Было ли исследование многоцентровым? (ответ на этот вопрос можно получить и из аннотации).
По поводу количества участников исследование нужно сделать одно пояснение. Вас может удивить малое количество участников какого-либо отечественного исследования, посвященного оценке эффективности нового лекарственного препарата. Дело в том, что требования к количеству участников клинических исследований новых препаратов в разных странах сильно отличаются. Даже не просто сильно, а невероятно сильно. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США или Европейское агентство лекарственных средств для регистрации нового препарата требуют подтверждения его эффективности и безопасности в двух независимых клинических исследованиях с участием нескольких тысяч человек. В России подобных требований нет, для регистрации достаточно одного исследования с произвольным количеством пациентов. 5, 10 или 20 участников – это смешно, но начиная с 50 – вполне достаточно. Довольно большое количество новых лекарственных препаратов получили у нас «путевку в жизнь» на основании исследования с количеством участников менее 100 человек. Но мы-то знаем, что чем больше участников, тем выше мощность исследования.
Знакомясь с результатами исследований «случай – контроль» и ретроспективных когортных исследований, важно помнить о том, что эти исследования обладают наименьшей доказательностью (обратите внимание – не «малой», а «наименьшей» в сравнении с другими типами исследований). Прежде всего это связано с искажениями фактов, которых практически невозможно избежать при ретроспективном сборе информации. Также на результатах исследований «случай – контроль» могут сказаться погрешности отбора участников в наблюдаемые группы. Например, больные с исследуемым заболеванием могут быть представлены в группе неравномерно, с преобладанием в сторону относительно стабильного течения. Если для вас очень важна достоверность результатов какого-то исследования «случай – контроль», то попробуйте поискать дополнительные подтверждения. Поймите правильно – речь идет не о недоверии к результатам, а о дополнительном подтверждении. Это как раз тот случай, когда кашу маслом не испортить. Что же касается ретроспективных когортных исследований, то в наше время они проводятся очень редко, можно сказать – в исключительных случаях.
После того, как метод исследования изучен и осмыслен (без осмысления научные работы не читаются), можно переходить к непосредственному знакомству с исследованием и его результатами.
Если вы станете прорабатывать какую-то тему глубоко, то в большинстве случаев столкнетесь с выраженными расхождениями в результатах отдельных исследований. Иной раз результаты настолько отличаются друг от друга, что возникает сомнение в их научности, читатель поневоле начинает подозревать, что результаты брались с потолка.
Надо сказать, что это обычная практика. Разные исследователи в процессе сходных исследований могут получать разные результаты. Если вы специализируетесь по данной теме, то вы сможете самостоятельно разобраться с расхождениями. Если же нет, то вашим спасательным кругом станут систематические обзоры и метаанализы.
Чем, по-вашему, в первую очередь отличается хороший систематический обзор от плохого? «Систематический», обратите внимание, речь идет именно о систематических обзорах, а не о сравнении систематического с литературным.
Подумайте, не торопясь. Раньше мы это главное отличие не обсуждали. Надо же что-то и под конец приберечь, чтобы читать интереснее было…
Хороший систематический обзор анализирует причины расхождений, выясняет различия между исследованиями, в ходе которых были получены результаты, отличающиеся друг от друга. Надо же понять, почему так произошло. Причина расхождения всегда объективна, но не всегда является ошибкой или погрешностью. Расхождение может быть вызвано тем, что в одном исследовании участвовали европейцы, а в другом – китайцы. У разных рас не только внешность разная, но и «химия» – есть определенные различия в биохимических процессах организма. Так, например, понижающий артериальное давление препарат «Каптоприл», он же – «Капотен», малоэффективен у представителей негроидной расы
[122].
В плохом систематическом обзоре расхождения перечисляются без анализа. Пользы от такого перечисления никакой, только голова кругом идет. Ясное дело, что на чтение плохих обзоров время тратить не нужно. Вы же не просто хотите узнать, сколько исследований проводилось по данному вопросу и как они назывались, вам важен результат, достоверный результат.
Важное значение имеет полнота отслеживания групп, участвующих в исследовании. О достоверных результатах можно говорить лишь в том случае, если вся группа наблюдалась в течение запланированного срока. Досрочное выбывание более 10 % участников существенно понижает достоверность результатов в большинстве исследований. Если же в ходе исследования выбывает более 20 %, то результаты его вообще не заслуживают внимания. Важно, чтобы при значительном выбывании для сравнения приводились полные исходные характеристики выбывших и отслеженных участников, это помогает адекватно оценивать результаты. Существует негласное правило, согласно которому у всех участников исследования, причина выбывания которых читателю неизвестна, автоматически предполагается неблагоприятный исход (смерть), и результаты исследования пересчитываются с учетом этой поправки (это нетрудно сделать самостоятельно).
При оценке причинно-следственных связей пользуйтесь критериями причинности Хилла, ничего лучшего человечество пока еще не придумало. Знание этих критериев помогает понять, была ли связь между причиной и следствием установлена должным образом или же ее, образно говоря, «притянули за уши».
Если в статье указано, что распреление участников исследования по группам было рандомизированным, но не указывается метод рандомизации, то следует считать такое исследование нерандомизированным! Да, именно так. Причина подобной категоричности заключается в том, что рандомизация рандомизации рознь и не всякое случайное распределение можно называть этим звучным словом. Нередко исследователи распределяют участников примитивным образом, например, по их порядковым номерам, четные номера попадают в одну группу, а нечетные – в другую. С таким же успехом можно отделять тех участников, с кем встречались по понедельникам и средам, от тех, кто был назначен на вторник и четверг. Вряд ли это можно назвать рандомизацией. Подобные «шалости» привели к тому, что сегодня примерно в половине научных статей, посвященных клиническим испытаниям, описывается метод рандомизации и это уточнение встречается все чаще и чаще. Авторы сами должны быть заинтересованы в этом, ведь «прозрачная» рандомизация повышает доверие к результатам исследования
[123].
