Но авторы решили на этом не останавливаться и проанализировали содержание в печени более тысячи различных белков и еще несколько десятков других параметров. Сравнив некоторые проанализированные параметры, они нашли статистические отличия между группами (вплоть до P < 0,001). После поправки на множественные сравнения все эти различия перестают быть достоверными. Но даже если бы нашлись какие-то достоверные отличия между группами крыс — что с того? Допустим, состав пищи немного изменился, и печень, участвующая в обмене веществ, изменила характер своей работы. Сравните мышей, которые ели два сорта сои, и возможно, что без всяких ГМО вы получите куда большую разницу.
Работу Сералини я специально оставил напоследок. В данной работе авторы решили и вовсе пренебречь статистическим анализом. Зачем, если журналисты не будут читать статью дальше названия и аннотации? К чему порой приводит подобное пренебрежение, можно продемонстрировать следующим примером. Представьте, что у вас есть обычная монетка. Вы подкинули ее десять раз и увидели, что монетка выпала решкой два раза из десяти. После этого вы взмолились Тору, скандинавскому богу грома и бури, и попросили его, чтобы решка выпадала чаще. В следующем эксперименте решка выпала семь раз из десяти. И вот вы уже пишете научную статью, в которой заявляете, что молитва Тору в три с половиной раза увеличила шанс выпадения решки! Бог Тор не только существует и отвечает на молитвы, но и управляет монетками!
Никого не должно смущать, что обе серии бросков прекрасно вписываются в рамки предположения, что монетка в обоих случаях была одинаковая и абсолютно безупречная, а различия между сериями случайны. Ирония заключается в том, что логика в работе Сералини абсолютно аналогична! Разбор статьи Сералини будет излишне подробным. Но это, возможно, лучшая в истории науки демонстрация того, как не стоит проводить исследования.
Сералини взял 100 самцов и 100 самок крыс. Каждую сотню крыс случайным образом разбили на 10 групп по 10 крыс. Шесть групп каждого пола получали в своем рационе либо 11, либо 22, либо 33% ГМ кукурузы, устойчивой к гербициду «Раундап» (Roundup). Им поливали при выращивании кукурузу, предназначенную в пищу трем из этих шести групп. Из оставшихся четырех групп три получали обычную кукурузу и воду с разной концентрацией «Раундапа». В рацион крыс десятой, контрольной группы входила обычная кукуруза.
За животными наблюдали два года. В случае потери 25% массы тела, развития больших опухолей (более 25% массы тела) или кровоизлияний крыс досрочно усыпляли. При вскрытии изучались самые разные ткани и органы. Я перечислю все, чтобы можно было оценить количество сравнений: мозг, кишечник, сердце, почки, печень, легкие, яичники, селезенка, яички, надпочечники, придатки яичек, предстательная железа, вилочковая железа, матка, аорта, мочевой пузырь, кости, двенадцатиперстная кишка, пищевод, глаза, узлы подвздошной кишки, тощая кишка, лимфатические узлы, лимфоретикулярная система, молочные железы, поджелудочная железа, паращитовидная железа, пейеровы бляшки, гипофиз, слюнные железы, седалищный нерв, кожа, спинной мозг, желудок, щитовидная железа и трахея. Вроде ничего не забыл.
Авторы статьи пишут, что в контрольной группе средняя продолжительность жизни самцов составила 624 ±21 день, а самок — 701 ±20 дней, плюс 5 недель, которые составляли возраст животных на начало эксперимента, и еще 3 недели стабилизационного периода, когда крыс не подвергали экспериментальным воздействиям. Предполагается, что после этого «среднего» возраста крысы умирали от старости, а преждевременные смерти наступили из-за патологий. Здесь есть свои нюансы, но давайте считать, что до сих пор все сделано правильно.
До указанного «среднего» возраста погибло 30% самцов и 20% самок из контрольной группы. Но, пишут авторы, в некоторых группах крыс, которые ели ГМО, смертность достигала 50% для самцов и 70% для самок! Никакого статистического анализа, как уже упоминалось, в статье не приводится, поэтому мы сделаем его сами. Давайте подыграем Сералини и подберем группы так, чтобы разница между ними была наибольшая. Такая наблюдалась между самками из контрольной группы и группы, которая ела корм с 22% содержанием ГМ кукурузы. Любопытно, что в группе, где корм включал 33% ГМ кукурузы, смертность оказалась ниже. В контрольной группе умерли 2 крысы, 8 выжили. В группе с 22% ГМ корма умерли 7 крыс, 3 выжили.
Для подсчета P-значения используем тест, который называется двусторонний тест Фишера (другие тесты дадут похожие результаты). Этот тест оценит вероятность по случайным причинам получить такие же или большие отличия при условии, что верна нулевая гипотеза: смертность в группах крыс одинаковая. Эта вероятность равна 0,0698 (P = 0,0698), а значит, даже по самым мягким статистическим критериям отвергнуть нулевую гипотезу на основании этих данных нельзя.
То есть даже самое большое отличие между группами крыс, которое мы наблюдаем в работе Сералини, является недостоверным с точки зрения статистики и объясняется случайным разбросом данных. Это без учета того, что имело место двенадцать множественных сравнений: разница могла быть получена между контрольной группой и любой из шести групп крыс каждого пола, которых кормили ГМО.
Теперь сравним два верных утверждения, из которых одно может ввести в заблуждение. Первое принадлежит Сералини: «В некоторых группах крыс, которые ели ГМО, смертность достигала 50% для самцов и 70% для самок, а в контрольных группах 30% и 20%». Второе получено с учетом статистического анализа: «Ни в одной группе крыс, которые ели ГМО, не было статистически значимых отличий в смертности по сравнению с контрольной группой».
Если бы эффект от питания ГМО действительно существовал, мы бы ожидали, что смертность крыс будет зависеть от количества ГМ кукурузы в корме, но, как мы видели, это не так. Для самцов наибольшая смертность наблюдалась в группе, которая ела корм с 11% ГМО, для самок — с 22% ГМО. Кроме того, к двум утверждениям можно добавить третье: «В некоторых группах самцов крыс, которые ели ГМО, смертность была 10%, то есть в три раза ниже, чем в контрольной группе». Но эта фраза в статью не вошла.
Наименьшая смертность (10%) отмечена в группах самцов крыс, получавших 22% и 33% ГМ кукурузы, а также в группе самцов, которые не ели ГМО, но получали максимальную концентрацию «Раундапа» с водой. Получается, что, если пренебречь статистическими тестами, как это сделал Сералини, и использовать аргумент молитвы к богу Тору, ГМО (и «Раундап») увеличивают продолжительность жизни самцов крыс!
Но на этом разбор статьи Сералини не заканчивается! По мнению авторов, упоминания достоин тот факт, что у первых двух самцов, умерших в группах с ГМ питанием, были диагностированы опухоли почек, масса которых превышала 25% массы тела. Чтобы оценить важность этого наблюдения, полезно знать, что наблюдаемый тип опухолей свойственен молодым животным и редко встречается у взрослых особей. А также, что, по имеющимся оценкам, 2,2% крыс изучаемой линии имеют это заболевание
[165]. Если вероятность возникновения опухоли по случайным причинам у одной крысы составляет 2,2%, то хотя бы у двух крыс из шестидесяти (а именно таким было общее количество самцов в экспериментальных группах) опухоль возникнет с вероятностью 38%.
