Как исследователю решить, осуществлять сравнение внутри группы или между группами? Как и в случае с лонгитюдным методом и методом поперечных срезов, зачастую определенную роль играет вопрос удобства. Обычно (когда конкретно, мы вскоре уточним) для внутрисубъектного исследования требуется меньше испытуемых. Предположим, нам нужно сравнить уровень трудности трех заданий, и мы знаем, что для выявления различий в трудности нужно по меньшей мере 20 испытуемых. Всегда, когда контингент потенциальных испытуемых ограничен, экономичность внутрисубъектного плана представляется довольно заманчивой.
Однако соображения удобства не всегда склоняют чашу весов в пользу внутрисубъектного подхода. За меньший размер выборки во внутрисубъектном исследовании приходится платить — конкретно необходимостью больше времени уделять каждому испытуемому либо за счет более длительных обследований, либо за счет большего их числа. Длительные или частые обследования подвергают серьезному испытанию терпение и мотивацию ребенка, особенно маленького, даже если исследователя не тревожит возможность того, что от ребенка требуется слишком много, это может беспокоить родителей или школьную администрацию: В таких случаях межсубъектный план, в котором требования к одному ребенку сведены к минимуму, является наиболее разумным выбором.
Статистические соображения также могут влиять на решение в пользу либо внутри-, либо межсубъектного плана. Статистические критерии, используемые для сравнения внутри группы, несколько отличаются от тех, которые используются для межгруппового сравнения. Более того, внутрисубъектные критерии зачастую обладают большей мощностью, чем межсубъектный — то есть, скорее выявят значимое различие, если оно действительно существует. Большая мощность этих критериев обусловлена уменьшением нежелательной дисперсии, которое обеспечивает внутрисубъектные план. Вспомним обсуждавшиеся ранее понятия первичной дисперсии и вторичной дисперсии, или дисперсии ошибки. Как отмечалось, целью качественного экспериментального плана является максимизация первичной дисперсии и минимизации нежелательной дисперсии, источником которой являются другие факторы. Было также отмечено, что одним из источников нежелательной дисперсии являются индивидуальные различия между испытуемыми. Обследование одних и тех же испытуемых в разных экспериментальных условиях позволяет снизить эту дисперсию и таким образом расширить возможности сравнения. Как следствие, повышается вероятность того, что показатель различия достигнет уровня статистической значимости.
И внутри-, и межсубъектный планы подвержены особым формам систематических ошибок. Очевидным недостатком межсубъектного плана является возможность и систематической ошибки отбора. Поскольку разные люди ставятся в разные условия, всегда существует вероятность того, что любые обнаруженные различия отражают не истинный эффект экспериментальных манипуляций, а изначальные индивидуальные различия между испытуемыми. Во внутрисубъектном плане, в котором каждый испытуемый обследуется при каждом из условий, эта вероятность отсутствует. Заметьте, что данное преимущество внутрисубъектного плана перед межсубъектным соотносится с ранее описанным преимуществом лонгитюдного метода перед методом поперечных срезов.
Существует два способа исключить возможность систематической ошибки отбора в межсубъектном исследовании (вспомните табл. 2.3). Первый — уравнять потенциально значимые переменные; ниже мы рассмотрим плюсы и минусы уравнивания. Другой подход был описан в главе 2: случайное причисление испытуемых к разным группам. Если размер выборки достаточно велик, если причисление действительно производится по принципу случайности, изначальные различия между испытуемыми будут находиться под контролем, а смешения субъектных переменных и условий удастся избежать. Как указывалось в главе 2, логика подхода, основанного на случайности, безупречна; проблема в том, чтобы обеспечить положительный ответ на оба «если».
Наиболее явная причина искажения валидности в рамках внутрисубъектных планов — вероятность эффектов повторного тестирования. Рассмотрим исследование, направленное на сравнение уровня трудности нескольких когнитивных заданий. Исследователь выбрал внутрисубъектный план, в котором каждый ребенок выполняет все задания. Поскольку на выполнение каждого из них требуется время, в процессе решения дети могут утомиться и потерять интерес. Поэтому успешность выполнения последних заданий может оказаться ниже успешности выполнения первых заданий. Или наоборот, в начале исследования дети могут испытывать некоторую робость и смущение, но освоиться в процессе тестирования. В этом случае успешность будет повышаться. В обоих примерах эффект повторного тестирования исказил бы результат сравнения трудности заданий, который собственно и интересует исследователя.
Описанные выше эффекты «врабатывания» и «утомления» попадают в разряд эффектов последовательности. Термин эффект последовательности характеризует любую общую тенденцию закономерного изменения успешности выполнения заданий от первых к последним. Обычно закономерное изменение заключается либо в общем повышении, либо в общем снижении успешности. Другая потенциальная проблема, связанная с внутрисубъектными планами, — это вероятность эффекта переноса. Об эффекте переноса говорят, когда ответ на одно задание (реакция в одних условиях) изменяется в зависимости от того, предшествует ему некое другое задание (другие условия) или следует за ним. Приведем пример, поясняющий это кажущееся довольно туманным определение. Представьте, что нужно сравнить уровень трудности двух заданий: Л и В. Допустим, что по отдельности эти задания могут правильно решить 50 % испытуемых. Однако оказывается, что если сначала идет задача Л, ее решение подсказывает путь решения задачи В, в результате частота правильных ответов на задачу В повышается до 70 %. Выполнение же задания В, если оно идет первым, подсказывает испытуемому пути решения, непригодные для решения задачи Л; в результате частота правильных ответов на задание Л падает до 30 %. Заметьте, что в этом случае в ходе экспериментального сеанса не обнаруживается ни общего улучшения, ни общего ухудшения; суть в том, что успешность выполнения одного задания зависит от того, идет оно до или после некоего другого задания. Хотя конкретные механизмы могут различаться, смысл эффекта последовательности и эффекта переноса общий: затруднение интерпретации при сравнении заданий или условий.
Чаще всего эффект последовательности создает проблемы в тех случаях, когда экспериментатор постоянно предъявляет задания в одном порядке. Отсюда рекомендация: при сравнении заданий или условий следует избегать одинакового порядка предъявления. Есть две альтернативы неизменной последовательности. Первая — рандомизация порядка заданий или условий. В определенных случаях, особенно когда количество заданий велико, рандомизация может оказаться весьма разумным решением. Однако зачастую рандомизации следует предпочесть контрбалансировку последовательности предъявления. Суть контрбалансировки легче объяснить на примере, чем через определение; простой пример представлен в левой верхней части табл. 3.2. Как можно заметить, контрбалансировка — это метод такого упорядочения заданий, при котором некоторое задание занимает разные позиции в ряду равное количество раз. Так, в данном примере задание А появляется одинаково часто на первом, втором и третьем месте; более того, оно равно часто предшествует заданиям В и С и следует за ними. В этим случае контрбалансировка полная — то есть использованы все возможные комбинации трех заданий. Очевидно, что с увеличением количества заданий возрастает и число возможных перестановок; 4 задания можно скомбинировать 24 способами (они представлены в верхней правой части табл. 3.2), а 5 заданий — 120 способами. В таких случаях полная контрбалансировка нецелесообразна; однако все еще можно отобрать такие последовательности, которые создавали бы достаточную сбалансированность. Примеры таких последовательностей для четырех и пяти заданий представлены в нижней части табл. 3.2.
