Выход за пределы данных: вменение
Пытаясь найти решение проблемы недостающих данных, вполне естественно в какой-то момент прийти к мысли, что можно взять да и заполнить пропуски некими заменителями. Такая стратегия называется вменением. После того, как мы вменяем недостающие значения, данные становятся полными и уже нет смысла беспокоиться о пустых ячейках – можно проводить анализ любым удобным способом. Например, после того как в табл. 6 будут вставлены значения отсутствующих возрастов, мы сможем легко вычислить средний возраст всех 10 человек в выборке. Однако этот метод подозрительно напоминает выдумывание данных, и, если мы не хотим быть обвиненными в мошенничестве, нужно тщательно продумать, как именно это делать. Более того, одно дело, если ненаблюдаемые значения принадлежат к категории NDD, и совсем другое, если они относятся к SDD или, что еще хуже, к UDD. Если недостающие значения принадлежат категории SDD, мы можем связать вмененные значения с теми или иными аспектами наблюдаемых данных. Но если недостающие значения относятся к категории UDD, то имеющиеся данные не смогут подсказать нам, какими должны быть вмененные значения, и непонятно, как в этом случае избежать неверных результатов.
Одна из причин того, что вменение недостающих значений зачастую упрощает анализ, заключается в самой природе многих статистических методов – они основаны на балансе и симметрии данных. Приведу пример. Однажды я консультировал производителя пластиковых автозапчастей, изготовленных методом литья под давлением, который хотел знать, какая комбинация трех факторов – температуры, давления и времени в пресс-форме – будет оптимальной и позволит получить продукт наилучшего качества. Исследованию подлежали два значения температуры, два значения давления и два – времени. (На самом деле этих значений было больше, но здесь я для упрощения возьму по два на каждый фактор и обозначу их как «высокое» и «низкое».) Когда для трех факторов существует по два значения, то в общей сложности мы имеем восемь комбинаций: все три фактора на высоких значениях; первые два на высоком, третий – на низком и т. д. Было выполнено несколько производственных циклов в каждой из этих восьми комбинаций, и каждый производственный цикл давал готовую деталь, качество которой можно было оценить. В подобных экспериментах, если одинаковое количество деталей создается при каждой комбинации трех факторов, то для получения результатов могут использоваться удобные математические формулы. Но анализ становится сложнее, если в результате разных комбинаций получено разное количество деталей. В частности, если изначально экспериментальный дизайн был ориентирован на то, чтобы получить хорошо сбалансированное число наблюдений, одинаковое для каждой комбинации факторов, но некоторые значения выпали (например, по причине отключения электропитания, что помешало осуществить ряд запусков в ходе производственного процесса), то данные становятся несбалансированными. Это может значительно затянуть анализ и потребовать сложных расчетов. Поэтому неудивительно, что идея вменения недостающих значений с целью восстановления баланса данных выглядит очень привлекательно.
Вменение значений полезно, но совершенно очевидно, что если мы повторим анализ с другими вмененными значениями, то получим и другие результаты (где-то здесь бродит призрак выдумывания данных). Поскольку наша мотивация для подстановки значений заключается в том, чтобы упростить вычисления и постараться не искажать результаты, можно попытаться найти такие подставные значения, чтобы простой анализ, основанный на сбалансированных полных данных, давал те же результаты, что и сложные вычисления с использованием неполных данных.
Идея заманчива, и в некоторых ситуациях она действительно реализуема, но вам не кажется, что она напоминает замкнутый круг? Как найти эти столь необходимые нам подставные значения, которые не повлияют на результаты, если не произвести перед этим сложные вычисления? Мы вернемся к этому вопросу позже, когда убедимся, что попытка ответить на него может привести нас к глубокому пониманию того, какие процессы на самом деле происходят в данных. Однако сначала мы подробнее рассмотрим основные подходы к вменению.
Среднее вменение
Одним из самых распространенных подходов является подстановка на место недостающих значений среднего значения, рассчитанного на основе всех имеющихся. Так, мы могли бы заменить три неизвестных значения возраста в табл. 6 на среднее значение семи известных возрастов. Действительно, эта нехитрая стратегия легкодоступна во многих программных пакетах для анализа данных. Но, без сомнения, вы уже приобрели определенный скептицизм в отношении простых стратегий, когда дело касается темных данных, и наверняка пытаетесь понять, что может быть не так с этим подходом. Одну из возможных проблем мы уже обсуждали: если недостающие значения имеют системные отличия от зарегистрированных, то их замена средним значением может ввести нас в заблуждение. Например, если три человека, чей возраст отсутствует, старше, чем остальные семь, будет не слишком хорошей идеей заменить их возраст средним возрастом этих семи. Таким образом, среднее вменение может быть приемлемым, когда отсутствующие данные принадлежат категории NDD, но в остальных случаях оно только усложнит нашу задачу.
К сожалению, со средним вменением связана и другая проблема. Как правило маловероятно, чтобы все недостающие значения, будь они измерены, оказались идентичными. Это означает, что подстановка одного и того же значения на место всех недостающих делает «полные данные» искусственно однородными. Например, проделай мы это для возраста в табл. 6, и дисперсия (мера того, насколько сильно отличаются друг от друга значения) полной выборки по возрасту будет, скорее всего, меньше фактической, когда все возрасты наблюдаются реально.
Перенос вперед данных последнего наблюдения
Недостающие значения в табл. 6, по-видимому, не имеют какой-либо закономерности и отсутствуют случайным образом. В отличие от этого, как мы уже успели убедиться, часто обнаруживается, что люди с течением времени выпадают из исследования, так что каждое такое наблюдение ограничено временем выпадения, после которого все более поздние значения отсутствуют. Хорошей иллюстрацией этого служит рис. 4 в главе 2.
Когда возникает такая модель выпадения, мы можем использовать конкретный метод вменения, называемый «перенос вперед данных последнего наблюдения» (LOCF), суть которого отражена в его названии: пропущенное значение для пациента заменяется последним из зарегистрированных. Такой метод подразумевает, что измеряемые параметры не меняются за время, прошедшее с момента последнего измерения до момента возникновения недостающего значения. Это довольно смелое предположение (с учетом того, что «смелость» иногда служит эвфемизмом для «безрассудства»). И, конечно, встает вопрос о целесообразности такого подхода – ведь, как правило, сама причина повторения наблюдений заключается в том, что мы ожидаем изменений параметров с течением времени.
Неудивительно, что метод LOCF активно подвергается критике.
● «Если бы существовал приз за самую неподходящую аналитическую технику при исследовании деменции, то последнее наблюдение, перенесенное вперед было бы вне конкуренции»
[154].
