Огромное количество чернил уже было потрачено на исследования, предполагавшие показать одно, но показавшие в результате другое. Тест на IQ — как раз из тех, что чаще всего получает неверную трактовку. Его используют, чтобы оценить умственные способности человека, как будто это какое-то одно качество. На самом деле, конечно, это не так — способности проявляются в самых разных формах: ориентировании в пространстве, знании искусства, математики и т. д. Как известно, в тестах на IQ есть некий перекос в сторону белых людей среднего класса. По результатам такого теста мы хотим понять, насколько человек подходит для усвоения определенной школьной программы или выполнения работы. Тесты на IQ могут предсказывать успешность испытуемых в таких ситуациях, но, вероятно, не потому, что человек с высоким IQ гораздо умнее, а потому, что у него много других преимуществ (экономических, социальных), которые и выявил тест.
Если в основе статистических данных, которые вы держите в руках, лежит исследование, постарайтесь выяснить, какие вопросы задавались, и посмотрите, достаточно ли они разумны и непредвзяты. Постарайтесь также понять, как проводили измерение исследуемого предмета и был ли тот, кто собирал данные, достаточно квалифицирован.
Определения
То, как понятия определяются и распределяются по категориям, влияет на статистические данные, которые вы получите в результате. С этой проблемой часто сталкиваются в естественных науках, например когда диагностируют стадию рака или описывают количество осадков. А в общественных науках такое случается, когда у респондентов спрашивают об их мнении или опыте.
Был ли сегодня дождь в Большом Сент-Луисе? Все зависит от того, что вы называете дождем. Если упала одна-единственная капля на территории в 8846 квадратных миль, входящих в состав Большого Сент-Луиса (согласно Административно-бюджетному управлению США), можно ли сказать, что шел дождь? Сколько капель должно упасть, над какой по размеру территорией и за какой период, чтобы мы считали, что в этот день выпали осадки?
В зависимости от выбранного рабочего определения у Бюро статистики труда США есть два разных способа замерить уровень инфляции: личные потребительские расходы (ЛПР) и индекс потребительских цен (ИПЦ) могут давать разные результаты. Если вы сравниваете два года или два региона страны, вам, конечно, нужно убедиться, что вы в обоих случаях используете один и тот же индекс. Если же вы просто хотите продемонстрировать, как сильно изменилась инфляция в последнее время, то, будь вы недобросовестным пользователем статистики, вы выбрали бы из двух тот, что производит большее впечатление, а не тот, что кажется более подходящим, — вы бы руководствовались пониманием их различий.
Или вот еще пример: что значит «бездомный»? Это тот, кто спит на тротуаре или в машине? Ведь у человека, может, и есть дом, но он не хочет туда идти. А как быть с женщиной, которая временно живет у подруги, потому что потеряла свою квартиру? Или с семьей, которая продала свой дом и теперь живет несколько недель в отеле, ожидая, пока в новом доме закончится ремонт? Или со сквоттером, который счастливо живет на заброшенном складе? При сравнении такого явления, как бездомность, в разных городах и штатах мы будем иметь дело с разными — с юридической точки зрения — определениями
[77]. И даже если они будут стандартизированы, то могут отличаться от того, что вы вкладываете в это понятие. Отсюда и невозможность решить проблему в больших городах — мы просто не понимаем, кто подходит под этот критерий.
Всякий раз, сталкиваясь с новостным репортажем, в котором упоминаются новые исследования, нужно быть внимательным с определениями, которые получили те или иные элементы исследования, и решать для себя, приемлемы ли они и разумны ли. Это особенно важно, когда речь идет о таких острых темах, как аборты, брак, война, изменения климата, минимальная заработная плата, жилищная политика.
Нет ничего более политизированного, чем политика. Любое определение можно перекрутить и переиначить согласно тем целям, которые вы преследуете. Представьте, что кандидат на какой-то политический пост нанял вас, чтобы собрать информацию о своем оппоненте, Алисии Флоррик
[78]. Если только ей не удалось покорить сердца абсолютно всех избирателей, они так и будут чем-нибудь недовольны. Вам нужно задать вопрос: «Есть ли что-нибудь, с чем вы не согласны или чего вы не одобряете в ее словах и поступках, даже при условии, что вы ее поддерживаете?» Теперь почти у всех найдутся хоть какие-нибудь претензии, и вы сможете ответить своему работодателю: «81 % опрошенных не одобряют действия Флоррик». Вы собрали данные по одной детали (пусть это было всего лишь небольшое недовольство) и создали некий массив однотипных жалоб, назвав его на новый лад — «неодобрение». А что, звучит почти справедливо.
Непостижимые и непроверяемые вещи
Термин GIGO («Garbage in — garbage out») был придуман первыми компьютерщиками и означает «Мусор на входе — мусор на выходе». Было время, когда пользователи слепо верили всему, что выдавал компьютер, потому что это выглядело чем-то точным и несомненным. Если статистика складывается из неаккуратно собранных данных, измерений, предположений, недопониманий, упрощений и неверных оценок, то и результат будет соответствующим.
Многое из того, что мы читаем, должно вызывать подозрения. Задайте себе вопрос: возможно ли вообще, чтобы кто-нибудь знал об этом? В газетах пишут о количестве суицидов, совершенных подростками нетрадиционной ориентации: геями и лесбиянками
[79]. Да ни одна из подобных статистических выкладок не имеет никакого веса, особенно если принять во внимание тот факт, что довольно сложно определить, наступила ли смерть в результате самоубийства и был ли человек геем. Точно так же, с некоторым подозрением, стоит относиться и к сообщениям о количестве смертей, наступивших в результате голода в отдаленных районах, или о количестве жертв геноцида во время гражданской войны, а также к информации об убитых и раненых во время военных операций США в Ираке и Афганистане.
Один издатель хвастается, что у его журнала 2 миллиона читателей. Но откуда он это знает? А он и не знает. Он предполагает, что некоторую часть купленных номеров потом дают почитать кому-то еще, — он называет эту часть долей вторичных читателей. Он предполагает, что каждый номер журнала, который закупила библиотека, читается определенным числом людей. То же касается книг, а также их электронных версий. Конечно, тут нельзя обобщать, все зависит от книги. Многие купили книгу Стивена Хокинга A Brief History of Time
. Говорят, что это самая покупаемая книга за последние 30 лет. Но также говорят, что очень немногие дочитывают ее до конца. Вероятно, немногие дают ее почитать, потому что кажется престижным просто иметь ее в своей гостиной. Но сколько же на самом деле читателей у журнала? Сколько людей действительно слушают подкаст? Нам это неизвестно. Мы знаем, сколько экземпляров было продано или загружено, и на этом все (хотя новые технологии в области электронных книг могут изменить этот давно устоявшийся статус-кво).
