Реферат: Псевдорепликация (или использование мнимых повторностей) определена как проверка статистических гипотез при оценке эффекта влияния фактора по экспериментальным данным, когда группы воздействий не могут быть признаны повторными (хотя выборки были сформированы), или эти повторности не являются статистически независимыми. В терминологии дисперсионного анализа (ANOVA) это неверная оценка дисперсии, обусловленной фактором воздействия, которая на самом деле не соответствует проверяемой гипотезе. Анализ 176 статей, посвященных экспериментальным исследованиям и опубликованных после 1960 г., показал, что псевдорепликация имела место в 27% из них, или в 48% всех работ, где применялась проверка гипотез. Мнимые повторности особенно часто встречаются в исследованиях морского бентоса и мелких млекопитающих. Рассмотрены важнейшие особенности активного эксперимента. "Несверхъестественное вмешательство" определено как вмешательство случайных, но объяснимых событий в ход текущего эксперимента. Обсуждается, что обязательной чертой хорошо поставленного эксперимента является перемешивание повторностей относительно выбранных уровней регулируемых параметров, что позволяет учесть как стохастические возмущения, так и возможный градиент сопутствующих нерегулируемых факторов. Только проведя адекватное размещение экспериментальных единиц в пространстве относительно вектора воздействий, можно быть уверенным, особенно в небольших экспериментах, в правильности результата, обходясь без строгих процедур рандомизации. Смысл этого конфликта между перемешиванием повторностей и их рандомизацией определяется различиями между не зависящей от размещения (pre-layout или обычной) и обусловленной размещением (layout-specific) вероятностями a ошибки первого рода. Предлагаются мероприятия, адресованные консультантам-статистикам и редакторам экологических журналов, призванные улучшить понимание экологами существа методов планирования эксперимента и математической статистики.

Ключевые слова: планирование эксперимента; хи-квадрат; Р.А. Фишер; В.С. Госсет; перемешивание воздействий; несверхъестественное вмешательство; рандомизация; повторность; ошибка первого рода (experimental design; chi-square; R.A. Fisher; W.S. Gossett; interspersion of treatments; nondemonic intrusion; randomization; replicability; type I error).

Предлагаемый обзор представляет собой критический анализ существующих в экологической практике методов организации и обработки результатов полевых наблюдений. Здесь также затрагиваются фундаментальные основы планирования эксперимента. При этом предполагается: (1) обсудить некоторые традиционные ошибки, когда в результате неверного планирования эксперимента неверно применяются методы прикладной статистики, (2) процитировать большое число работ, иллюстрирующих эти проблемы, (3) предложить некоторые новые термины для концепций, которые сейчас не имеют удобных специальных наименований, (4) подчеркнуть тезис о том, что перемешивание воздействий является обязательной чертой правильно спланированного эксперимента, и (5) предложить пути, посредством которых научное сообщество могло бы быстро улучшить положение дел.

Большая часть книг по планированию эксперимента или статистике либо совсем не касается тех основных положений, о которых я поведу речь, либо касаются их очень кратко. В литературе приводится минимум примеров неправильно поставленных экспериментов и уж совсем мало примеров, представляющих правильно организованную систему наблюдений на уровне популяции, сообщества или экосистемы. Основную массу материала, содержащегося в таких книгах, составляют чисто технические аспекты этой области знаний и математические схемы обработки, что в целом правильно, но отталкивает тех, кто интересуется общими фундаментальными принципами. Я же опускаю здесь математические обсуждения вообще.

Цитирование конкретных исследований имеет большое значение для желательной эффективности настоящей работы. Отказаться от упоминания конкретных отрицательных примеров – значит отказаться от действенного педагогического метода. Имеющиеся обзоры в этом направлении (и мои в том числе) являются чересчур вежливыми и даже извиняющимися, что иллюстрируется следующими цитатами:

Поскольку я здесь не скрываюсь за анонимностью и не собираюсь демонстрировать свое восхищение, позвольте сформулировать очевидный факт – качество исследования зависит от большего, нежели хороший экспериментальный план, так что правильное планирование эксперимента само по себе не гарантирует ценности исследования. В этом обзоре не оценивается общее качество обсуждаемых работ. Большинство из них, несмотря на ошибки в планировании и статистике, содержат весьма полезную информацию.

С другой стороны, когда авторы обзоров пытаются подчеркнуть положительные моменты, указывая на конкретные полевые исследования, их выбор иногда представляется не совсем подходящим. Например, Б. Коннел (Connell, 1974) цитирует П. Бодена (Boaden, 1962) как один из лучших примеров управляемого полевого эксперимента; а Р. Чу (Chew, 1978) цитирует Ф. Спитца (Spitz, 1968) как “лучший пример по оценке ущерба фитосистем от действия мелких млекопитающих”. При этом в обоих исследованиях не присутствуют повторности воздействия и потому в них не учитывается влияние стохастического фактора. Ф. Спитц (Spitz, 1968), более того, неверно применяет методы статистики, рассматривая повторные выборки, как будто бы они являлись повторными экспериментальными единицами.

Предлагаемые в настоящем обзоре новые термины были выбраны очень тщательно. Возможно, математики сочтут их неэлегантными, но мне кажется, что эти термины могут быть полезными как экологам, так и другим ученым, имеющим дело с планированием эксперимента. Статистика и планирование эксперимента – это дисциплины с очень бедным словарным запасом. Большая часть этого обзора имеет дело с тем, что статистик может назвать проблемами "рандомизации", "повторностей", "независимости" или "остаточной дисперсии {error term}", но эти понятия могут использоваться в эксперименте в различных смыслах или применяться многими способами в экспериментах разных типов. Например, при планировании эксперимента можно реализовывать повторности на нескольких уровнях (блоки, экспериментальные единицы, выборки, подвыборки и т.д.). Конечно, на многих уровнях повторности могут быть излишними или необязательными, но есть, по крайней мере, один уровень (экспериментальные единицы), на котором повторности обязательны, по крайней мере, если планируется применение критериев значимости. Аналогично термин "ошибка" используется для обозначения множества различных величин и концепций, включая: ошибки первого и второго рода, случайные ошибки и систематические (введенные экспериментатором), изменчивость между повторностями, изменчивость между выборками, несоответствие между µ и x и т.д. Несколько увеличенный словарь, в особенности обеспечивающий названия для различных типов неправильных процедур, мог бы упростить положение дел.

Я начну свое обсуждение с элементарного уровня, предполагая, что читатель прошел хотя бы односеместровый курс прикладной статистики, но не знаком с теорией планирования эксперимента. Такой подход (да и весь обзор в целом) может показаться некоторым экологам слишком элементарным. Но я иду на это, чтобы мои посылки и аргументы были исчерпывающими, простыми и легко атакуемыми, если они неверны. Ведь именно элементарные принципы теории планирования эксперимента (а не продвинутые или эзотерические предположения) наиболее часто и сильно нарушаются экологами.

Эксперимент включает 5 последовательных стадий: гипотеза, планирование, реализация, статистический анализ и интерпретация. Гипотеза обладает первоочередной важностью, поскольку если она не удовлетворяет некоторым критериям качества, то даже самый правильно проведенный эксперимент будет иметь не слишком большую ценность.

Под планированием эксперимента понимается лишь “логическая структура исследования” (Fisher, 1971, p. 2). Полное описание целей эксперимента должно включать спецификацию природы используемых экспериментальных единиц, число и характер применяемых воздействий (включая "контрольные" воздействия), а также свойства или отклики (параметры экспериментальных единиц), которые предполагается измерять. Когда решение по этим вопросам принято, план эксперимента определяет схему, согласно которой для каждой доступной экспериментальной единицы назначается уровень воздействия. При этом определяется число экспериментальных единиц (повторностей), получающих воздействие каждого уровня, устанавливается физическое расположение экспериментальных единиц, а также частота или временная периодичность, с которой реализуются воздействия и осуществляются измерения контролируемых факторов на различных экспериментальных единицах.

Реализация эксперимента включает весь комплекс процедур и операций, в отношении которых осуществлялось планирование. Успешное осуществление в равной мере зависит от искусства экспериментатора, его проницательности и рассудительности, а также от его технических навыков. Непосредственной задачей исследователя обычно является выполнение технических операций эксперимента таким образом, чтобы избежать систематических ошибок (отклонений) и минимизировать случайные ошибки. Если изучается влияние ДДТ, то препарат не должен содержать примесей иных веществ. Если изучается влияние хищника, охотящегося в приливной зоне, то расположение клеток, блокирующих хищника, не должно иметь прямого влияния на поведение экосистемы, за исключением самого хищника. Если изучается влияние питательных веществ на биомассу планктона в пруду, то отбор проб должен выполняться посредством устройства, производительность которого не зависит от обилия планктона. Систематические ошибки, допущенные как в распределении воздействий, так и в процедурах измерения или отбора проб, делают эксперимент некорректным, а его выводы неубедительными.

Субъективным образом также решается вопрос о том, какова допустимая или желательная изначальная гетерогенность между экспериментальными единицами и в какой степени следует регулировать условия среды в ходе эксперимента. Эти обстоятельства влияют на величину случайных ошибок и потому – на оценку чувствительности изучаемых объектов по отношению к воздействию. Они также влияют на конкретную интерпретацию результатов, хотя сами по себе цели исследования не определяют.

Из изложенного ясно, что планирование эксперимента и особенности его реализации в равной степени определяют обоснованность исследования и его итоги. Хотя в практическом смысле реализация – это более критичный аспект эксперимента, нежели его планирование. Действительно, ошибки при осуществлении эксперимента обычно возникают в большем числе этапов исследования, более многообразны и часто более коварны, чем ошибки при планировании. Следовательно, погрешности реализации обнаружить обычно сложнее, чем просчеты в планировании, как самому экспериментатору, так и читателю его отчетов. Именно эти коварные эффекты ошибок, которые иногда просто невозможно обнаружить, делают этап реализации наиболее ответственным за корректность конечного результата исследования. Однако ошибки процесса реализации эксперимента далее рассматриваться не будут, несмотря на столь важное их значение как источника проблем.

В экспериментальной работе основная функция статистики – увеличить четкость, выразительность и объективность, с которыми результаты представляются и интерпретируются. Статистический анализ и интерпретация – наименее критичные аспекты экспериментирования в том смысле, что если допускаются чисто статистические или интерпретационные ошибки, то данные могут быть проанализированы заново. В то время как единственным абсолютным средством исправления ошибок планирования или реализации является только повторение эксперимента.

Можно выделить два класса экспериментов: измерительные {mensurative} и манипулятивные {manipulative}. Измерительные эксперименты включают только проведение наблюдений в одной или нескольких точках пространства или времени; пространство или время – это единственные "экспериментальные" переменные или "факторы воздействия". Оценка значимости воздействия по статистическим критериям осуществляется здесь не всегда. Измерительные эксперименты обычно не включают наложение экспериментатором управляемых внешних факторов на экспериментальные единицы. Если они включают такое наложение (например, сравнение откликов горных и равнинных особей дуба на экспериментальную дефолиацию), то все экспериментальные единицы подвергаются одинаковому "воздействию".

Пример 1. Мы хотим определить, как быстро разлагаются листья клена (Acer) на дне озера на глубине 1 м. Для этого мы делаем 8 маленьких мешков из нейлоновой сетки, наполняем каждый из них кленовыми листьями и помещаем все вместе в какой-то точке 1-метровой изобаты. Через месяц мы вынимаем мешочки, определяем потерю разложившегося органического вещества в каждом и вычисляем среднюю скорость разложения. В таком виде эта процедура удовлетворительна. Однако она не дает информации о том, как скорость может варьировать в разных точках 1-метровой изобаты. Средняя скорость, которую мы вычислили по нашим 8 мешочкам с листьями –слишком скудное основание для обобщения величины "скорости разложения на 1-метровой изобате в озере".

Такая процедура обычно называется экспериментом просто потому, что процедура измерения достаточно трудоемка, и часто включает вмешательство в саму систему. Если бы мы провели 8 измерений температуры или отобрали 8 проб дночерпателем, мало кто назвал бы эти процедуры и их результаты "экспериментальными".

Попытки семантической реформы будут тщетными. Исторически сложилось, что термин "экспериментальное" всегда использовался в контексте значений "сложное", "трудоемкое", "подразумевающее вмешательство {interventionist}", и это неизбежно будет продолжаться. Термин измерительный эксперимент поможет нам держать в уме различие между описанным подходом и манипулятивным экспериментом. Так как в строгом смысле основное различие между ними такое же, как и между выборочным процессом и экспериментированием, изложение "планирования" измерительных экспериментов можно найти в таких книгах, как “Методы выборочного исследования” (Cochran, 1963) или “Выборочный метод в переписях и обследованиях” (Yates, 1960), но не в книгах, в названии которых присутствует слово "планирование".

Пример 2. Предположим, что мы хотим, используя процедуру примера 1, выяснить, отличается ли скорость разложения кленовых листьев между 1-метровой и 10-метровой изобатами. Для этого мы помещаем 8 мешочков с листьями на 1-метровую изобату и другие 8 мешочков на 10-метровую, ждем месяц, извлекаем мешочки и получаем данные. Затем мы применяем статистический критерий (например, t-критерий или U- критерий), чтобы узнать, имеется ли достоверное различие скорости разложения в двух точках.

Этот опыт можно было бы назвать сравнительным измерительным экспериментом. Хотя нами использовались две изобаты (или два "уровня воздействия"), полноценная проверка научных гипотез, присущих манипулятивным экспериментам, проведена не была. Мы просто измерили свойство системы в двух точках внутри нее и оценили, существует ли реальное различие ("эффект воздействия") между ними.

Чтобы достигнуть не слишком четко сформулированную цель в примере 1, любой тип пространственного размещения 8 мешочков по изобате, в принципе, был бы приемлемым. В примере же 2 мы определили нашу цель как сравнение двух изобат в отношении скорости разложения кленовых листьев. Поэтому мы не можем расположить наши мешочки в одном месте на каждой изобате. Это не даст нам никакой информации об изменчивости скорости разложения от точки к точке вдоль изобаты. Такую информацию необходимо получить, прежде чем обоснованно применять статистический критерий для проверки нулевой гипотезы о том, что скорость разложения одинакова на двух изобатах. Поэтому мы должны рассеять наши мешочки на каждой изобате некоторым подходящим образом. Существует много путей выбора такого размещения. В идеальном случае позиции вдоль каждой изобаты должны выбираться случайно, но мешочки могут быть расположены индивидуально (8 точек), либо группами по две (4 точки) или по четыре (2 точки). Более того, мы можем решить, что достаточно работать с изобатами только вдоль одной стороны озера и т.д.

Размещение повторных выборок или измерений в пространстве (или времени) подходящим образом, соответствующим конкретной проверяемой гипотезе, – наиболее критичный аспект планирования измерительных экспериментов.

Пример 3. Предположим, что поленившись, мы расположили все 8 мешочков в одном месте на каждой из изобат. В этой ситуации все еще будет корректным применить критерий значимости к полученным данным. Однако (и это центральный момент во всем этом обзоре), если достоверные различия обнаружены, это является свидетельством различий только между двумя точками: "так случилось", что одна из точек лежит на 1-метровой изобате, а вторая – на 10-метровой. Выявленное достоверное различие между ними не может быть корректно интерпретировано как различие между двумя изобатами, т.е. как свидетельство "эффекта воздействия". Такое выявленное достоверное различие не более того различия, которое мы обнаружили бы, поместив два набора по 8 мешочков в двух точках на одной и той же изобате.

Если мы настаиваем на интерпретации проверки гипотезы в примере 3 как "эффекта воздействия" с констатацией реальных различий между изобатами, мы совершаем ошибку, связанную с тем, что я называю мнимой повторностью. Мнимая повторность может быть определена в терминах дисперсионного анализа как проверка эффекта воздействия, основанная на оценке дисперсии {error term}, неадекватной рассматриваемой гипотезе. В примере 3 составляющая ошибки, обусловленная фактором и основанная на 8 мешочках в одной точке, не является адекватной. В целом в измерительных экспериментах мнимые повторности часто являются следствием того, что реальное физическое пространство, из которого формируются выборки (либо в котором проводятся измерения), меньше, либо более ограничено, чем то, которое фигурирует в гипотезе. В манипулятивных экспериментах мнимые повторности проявляются в результате использования статистических методов для проверки гипотезы об эффекте воздействия по данным из экспериментов, в которых либо воздействия вообще не имели повторностей (хотя могло быть несколько выборок), либо эти повторности не были статистически независимы. Таким образом, мнимые повторности относятся не к проблеме планирования эксперимента (или выборочного процесса) как такового, а скорее к определенной комбинации планирования эксперимента (или выборочного процесса) и статистического анализа, который неадекватен для проверки поставленных гипотез.

Явление мнимых повторностей широко распространено в литературе как по измерительным, так и по манипулятивным экспериментам. Оно может появиться во многих обличиях. Оставшаяся часть этого обзора посвящена мнимым повторностям в манипулятивных экспериментах и вопросам, связанным с ними.

Если в измерительном эксперименте, как правило, изучается единственная ситуация с одним воздействием (пример 1), то управляемый (манипулятивный) эксперимент уже учитывает воздействие на двух или более уровнях фактора и имеет целью осуществление одного или более сравнений. Определяющая черта управляемого эксперимента состоит в том, что различные экспериментальные единицы получают различные уровни воздействия и распределение воздействий по экспериментальным единицам делается случайным (или, по крайней мере, может быть сделано таковым). Обратите внимание, что в примере 2 экспериментальные единицы – это не мешочки с листьями, которые нужно считать просто измерительными инструментами, а 8 физических положений, где эти мешочки были расположены.

Следуя Ф. Энскомбу (Anscombe, 1948), многие статистики используют термин сравнительный эксперимент для обозначения того, что я называю манипулятивным экспериментом, и абсолютный эксперимент – для обозначения того, что я называю измерительным экспериментом. Я чувствую, что терминология Ф. Энскомба вводит в заблуждение. Она скрывает тот факт, что сравнение также является целью многих измерительных экспериментов (см. пример 2).

Д. Кокс (Cox, 1958, р. 92-93) проводит различие между воздействующими факторами и классифицирующими факторами, которое, на первый взгляд, выглядит как аналог различия между измерительными и манипулятивными экспериментами. Однако это не так. Для Д. Кокса "вид" всегда будет классифицирующим фактором, потому что “вид – это внутреннее свойство объекта, а не нечто, привносимое экспериментатором”. Тем не менее "вид", как и множество других классифицирующих факторов, явно может быть действующей переменной, как в измерительных, так и в манипулятивных экспериментах. Тестирование эффекта ингибирования огня на двух типах древесины (см. Cox, 1958, пример 6.3) или сравнение скорости разложения дубовых и кленовых листьев (мой пример 5) представляют собой манипулятивные эксперименты, в которых разновидность материала является действующей переменной, а их планирование заключается в случайном распределении воздействий по экспериментальным единицам (например, по их физическому местоположению в пространстве). Однако, чтобы замерить и сравнить скорости фотосинтеза дуба и клена в естественном лесу, необходимо провести измерительный эксперимент. В этом случае случайный выбор конкретного местоположения двух видов деревьев может оказаться невозможным.

Различие между воздействующими и классифицирующими факторами, подчеркиваемое Д. Коксом (1958), правомерно. Но поскольку оно не совпадает с дихотомией, встречающейся в практике планирования эксперимента и статистических процедурах, оно менее четко по сравнению с предлагаемой здесь классификацией на измерительные и манипулятивные эксперименты.

Манипулятивное экспериментирование сталкивается с несколькими классами потенциальных проблем. В табл. 1 они обозначены как “источники недоразумений”: эксперимент успешен в той степени, в которой его результаты не дискредитированы этими факторами. В задачу планирования эксперимента входит минимизация воздействия факторов из источников, пронумерованных от 1 до 6. Для каждого потенциального источника приведены один или несколько способов планирования эксперимента, которые ответственны за эту минимизацию. Большинство таких способов обязательно. Улучшения на этапе выполнения эксперимента могут еще более уменьшить эти источники ошибок. Однако такие улучшения не могут заменить обязательные составляющие плана эксперимента: контроль, повторность, рандомизацию, перемешивание {interspersion}.

Всегда можно предположить, что некоторые источники некорректности в конкретном случае не важны, и соответствующим образом упростить план эксперимента и его процедур. Это сэкономит значительный объем работы. Однако сущность управляемого эксперимента в том, что правомерность его заключений не зависит от соответствия таких предположений объективной реальности.

От последнего источника некорректности в списке табл. 1 план эксперимента не может быть защищен. Значение сверхъестественного и несверхъестественного вмешательства будет кратко пояснено ниже.

"Контроль" – это еще один неудачный термин, имеющий несколько значений даже в контексте планирования эксперимента. В табл. 1 он употребляется в наиболее традиционном значении, т.е. как любая выборка измерений, с которой сравниваются другие выборки, получившие воздействие. Контрольным воздействием может быть как нижний или нулевой уровень фактора {untreated treatment}, изучаемого в эксперименте, так и "процедурное" воздействие (например, мыши с введенным солевым раствором используются в качестве контроля по отношению к мышам с введенным солевым раствором и лекарственным препаратом), или просто иное воздействие.

По крайней мере, при экспериментировании с биологическими системами контроль необходим, в первую очередь, вследствие того, что биологические системы меняются со временем. Если бы мы могли быть абсолютно уверены, что данная система обладает постоянными свойствами, тогда не было бы необходимости в отдельной контрольной группе. Измерения на экспериментальной единице до воздействия могли бы служить тогда контролем для измерений на экспериментальной единице после воздействия.

Во многих типах экспериментов контрольные измерения имеют вторую функцию: выделить влияние эффекта в числе прочих различных аспектов экспериментальной процедуры. Так, в примере с мышами воздействие "только солевым раствором" представляется обязательным контролем. При некоторых обстоятельствах могут быть полезными дополнительные контрольные воздействия, такие как "только введение иглы" или "отсутствие манипуляций".

Более широкое и, возможно, более полезное (хотя и менее традиционное) определение "контроля" включает все обязательные атрибуты плана, приведенные рядом с "источниками недоразумений" под номерами 1 - 6 (табл. 1). "Контроль" в строгом смысле отслеживает дрейф во времени и влияние технических процедур реализации эксперимента. Рандомизация компенсирует (т.е. снижает или исключает) потенциальные отклонения, вносимые экспериментатором при назначении воздействий экспериментальным единицам и при осуществлении других процедурных действий. Повторности учитывают стохастический фактор, т.е. внутреннюю изменчивость выборок, присущую экспериментальному материалу или внесенную экспериментатором, либо возникшую вследствие несверхъестественного вмешательства. Перемешивание {interspersion} компенсирует регулярную пространственную неоднородность свойств среды, куда помещаются экспериментальные единицы, обусловленную как ее исходным состоянием, так и возможным несверхъестественным вмешательством.

В этом контексте представляется точным утверждение о том, что эксперимент без повторностей – это эксперимент без контроля, поскольку он не учитывает стохастический фактор. Однако обычай разделять повторность и контроль как отдельные аспекты плана эксперимента настолько прочно утвердился, что термин "контроль" будет далее использоваться только в узком традиционном смысле.

Третье значение контроля в экспериментальном контексте состоит в регуляции условий, в которых проводится эксперимент. Это может относиться к гомогенности экспериментальных единиц, к точности конкретных процедур воздействия, или, что наиболее часто, к учету неоднородности физической среды, в которой проводится эксперимент. Так, некоторые исследователи могут говорить об эксперименте, поставленном на инбредных белых мышах в лаборатории при температуре 25±1ºC, как о "лучше контролируемом" по сравнению с экспериментом, поставленном на диких мышах в поле, где температура меняется от 15º до 30º. Это – неудачное выражение, потому что "чистота" контрольных воздействий в эксперименте не зависит от той степени, с которой физические условия среды ограничиваются или регулируются. От такой регуляции также не зависят ни обоснованность эксперимента, ни результаты статистического анализа; если нет ошибок в плане или статистическом анализе, то доверие, с которым мы можем отбросить нуль-гипотезу, отражается исключительно значением р-вероятности. Эти факты мало понимаются многими лабораторными учеными.

Неверный смысл, который вкладывается в понятие контроль, частично происходит от ошибочного толкования древней максимы: “Сохраняй постоянными все переменные, за исключением той, которая подлежит изучению”. Она относится не к временной стабильности, которая, в общем, не имеет значения, а только к желательной идентичности экспериментальных и контрольных систем во всех отношениях, за исключением воздействующей переменной и производимой ею эффекта.

Повторности, рандомизация и независимость. Как повторности, так и рандомизация имеют две функции в эксперименте: они улучшают оценку базовых статистик и повышают обоснованность применения статистических критериев. В табл. 1 подразумевается их роль в оценке статистических параметров выборок. Повторности снижают эффекты "шума" (т.е. случайной изменчивости или ошибки), увеличивая, таким образом, точность {precision} оценки, например, выборочного среднего или различий между двумя выборками. Рандомизация компенсирует возможные возмущения, вносимые экспериментатором, увеличивая правильность {accuracy} оценок.

В отношении статистических критериев “главная цель [повторностей], которой нельзя достигнуть альтернативным методом, – обеспечить оценку ошибки [т.е. изменчивости], посредством которой решается вопрос о значимости в таких сравнениях... [а] цель рандомизации... – гарантировать обоснованность критерия значимости, а этот критерий основан на оценке ошибки, которую позволяют рассчитать повторности” (Fisher, 1971, р. 63-64).

Каким именно путем рандомизированное распределение уровней воздействий по экспериментальным единицам обеспечивает обоснованность эксперимента? Четкий и краткий ответ встречается нечасто. Рандомизация гарантирует “гораздо больше, чем просто отсутствие отклонений в эксперименте” (Fisher, 1971, р. 43), хотя и это важно. Она гарантирует, что в среднем "ошибки" распределены независимо и что “пары участков с одинаковым воздействием расположены не ближе друг к другу, или, наоборот, дальше, или еще каким-либо разумным образом не отличимы^* от любой другой пары участков с различным воздействием”, за единственным исключением эффекта самого воздействия (Fisher 1926, р. 506). [^*В парафразе этого утверждения Дж. Бокс (Box, 1978, р. 146) вставляет в этом месте очень важное уточнение “в среднем”.]

В терминах математической статистики отсутствие независимости ошибок препятствует выяснению α-вероятности ошибки первого рода. Действуя в соответствии с процедурой проверки статистических гипотез, мы можем, например, задаться критическим уровнем значимости α_кр = 0.05 и искать соответствующее значение р-вероятности для подходящей тест-статистики. Однако, если ошибки не независимы, истинный уровень значимости будет выше или ниже 0.05, но в любом случае численное его значение останется неизвестным. Таким образом, интерпретация статистического анализа становится достаточно субъективной.

Сверхъестественное и несверхъестественное вмешательство. Если бы вы работали в области, населенной нечистой силой, у вас были бы проблемы независимо от совершенства вашего экспериментального плана. Если демон решает "учинить что-либо" над каждой экспериментальной единицей с воздействием A, но оставить в покое единицы с воздействием B, причем его визит останется незамеченным, то результаты будут неверными. Можно также классифицировать некоторые ошибки или выбросы измерений как следствия сверхъестественного вмешательства. Например, если хищническое влияние лис изучается на огороженных и неогороженных полях, ястребы могут быть привлечены столбами ограждения, которые они могут использовать как насесты, с которых осуществляется поиск добычи. Позднее воздействие ястребов на огороженные поля может внести отклонение в результаты эксперимента. Считать ли такое зловредное вмешательство сверхъестественным или просто приписать проблему отсутствию прозорливости экспериментатора или несовершенству процедур эксперимента – вопрос субъективный. Решение будет зависеть от того, убеждены ли мы в том, что достаточно внимательный экспериментатор должен предвидеть такое вмешательство и предпринять меры по его устранению.

Под несверхъестественным вмешательством понимается вмешательство случайных событий в текущий эксперимент. Этот тип вмешательства встречается в любой экспериментальной работе, внося "шум" в данные. Чаще всего влияние единичного стохастического возмущения неизмеримо мало. Однако по определению, природа, величина и частота таких случайных событий непредсказуемы, так же как и их следствия. Если возмущение оказывает воздействие на все экспериментальные единицы независимо от уровня воздействия, то проблемы нет. Любое изменение погоды во время полевого эксперимента будет примером такого "случайного" события. Больше проблем несут случайные события, влияющие на одну или несколько экспериментальных единиц. Экспериментальное животное может умереть, может случиться инфекция или сбой в обогревательной системе. Некоторые случайные события могут быть обнаружены, но таковых – не большинство. Экспериментаторы обычно стремятся минимизировать появление случайных событий, потому что они снижают чувствительность эксперимента в обнаружении эффекта воздействия. Однако не менее важно минимизировать вероятность ошибочного заключения о присутствии эффекта воздействия, когда его нет. Повторности и перемешивание воздействий обеспечивают лучшую страховку от случайных событий, имитирующих такие фальшивые эффекты воздействия (табл. 1).

В большинстве видов управляемых экспериментов адекватное размещение воздействий в пространстве реализуется более или менее автоматически в соответствии с процедурами рандомизации, когда экспериментальные единицы случайным образом связываются с уровнями варьирования исследуемых факторов. В то же время "перемешивание" {interspersion} изучаемых воздействий представляет собой более общее понятие, чем рандомизация {randomization}, которая является просто способом соотнесения экспериментальных единиц с комбинациями уровней факторов, устраняющим возможность случайных искажений результатов эксперимента и доставляющим точную спецификацию вероятности ошибки первого рода. Кроме того, для предварительной оценки адекватности планов эксперимента "перемешивание" – более практичный критерий, чем рандомизация. Первый предлагает принципиальную схему физического распределения экспериментальных единиц в пространстве, тогда как второй ссылается только на сам процесс.

Пример 4. Возвратимся к нашей изобате на глубине 1 м, чтобы проверить, будут ли листья дуба (Quercus) разлагаться быстрее, чем листья клена (Acer) на той же глубине. Это будет уже управляемым экспериментом, хотя технические операции будут подобны таковым из ранее описанного измерительного эксперимента (примеры 2 и 3). Теперь мы фактически изменяем единственную переменную (вид листьев), а не просто сравниваем свойство системы в двух точках в пространстве или во времени.

Поместим случайным образом 8 мешочков с листьями клена в пределах 0.5 м² участка (A) на 1-метровой изобате и также наугад 8 мешочков с листьями дуба в пределах второго "идентичного" участка (B), смежного с первым. Поскольку экспериментальные единицы с разным уровнем воздействия не перемешаны, это – не очень интересный эксперимент. Единственная гипотеза, проверяемая им, состоит в том, что листья клена в точке А разлагаются с иной скоростью, чем это делают листья дуба в точке B. Предполагаемая "идентичность" двух участков почти наверняка не существует, а эксперимент не предполагает возможности, что начальные различия между двумя участками (по-видимому, небольшие) будут иметь влияние на скорость разложения. И при этом не контролируется возможность "несверхъестественного вмешательства", т.е. возможность того, что неуправляемый внешний фактор или случайное событие в течение эксперимента могут увеличить несходство двух участков.

В подобных случаях исследователю обычно доступны для обработки только несколько экспериментальных единиц и уже четырехкратные повторности являются необычными. С учетом этого обстоятельства при полной рандомизации есть большая вероятность создать изолированный, а не перемешанный план размещения. Например, использование таблицы случайных чисел позволяет нам подсчитать, что для 8 площадок вероятность случайного выпадения варианта В-1 составляет около 3%; для 6 площадок – около 10%; для 4 площадок – 50%. Я настоятельно не соглашаюсь с предположением (Cochran, Cox, 1957, р. 96; Cox, 1958, р. 71), что “полностью рандомизированный вариант может быть самым эффективным в небольших экспериментах”. Ясно, что мы не можем рассчитывать на рандомизацию, всегда дающую нам перемешивание, столь же "хорошее", как A-1 (рис. 1).

Рисунок 2-I – единственный найденный мной пример плохого перемешивания, следующий из ясно определенных и формально правильных процедур рандомизации. Но даже в этом случае некорректна конфигурация только одного блока в рандомизированной полной блочной конструкции с четырьмя блоками. Для других двух примеров (рис. 2-II, 2-III) авторы не указывают, какие процедуры или критерии они использовали в назначении опытных участков под определенные воздействия. Так или иначе, маловероятно, чтобы настолько изолированные схемы размещения были произведены путем рандомизации. Потенциал для ошибок, обусловленных неучтенной исходной внутренней неоднородностью выборок (или "несверхъестественным" вмешательством) и способных оказать искажающее влияние на результаты эксперимента, был высок во всех трех случаях.

Рандомизированная блочная схема (randomized block design; А-2). Этот способ дает хорошие результаты и часто используется в полевых экспериментах. В приведенном на рис. 1 примере 8 площадок разбиты на 4 блока, а в пределах каждого блока воздействия распределены случайным образом. Как и другие способы "ограниченной рандомизации", рандомизированная блочная схема уменьшает упомянутую вероятность случайной изоляции групп воздействий. Иными словами, рандомизированное распределение по группам или любая другая процедура, которая гарантирует перемешивание, всегда очень желательны как страхование от несверхъестественного вмешательства. Это, однако, не должно быть расценено только как метод распределения повторностей в пространстве, когда некоторый градиент исходной неоднородности в свойствах экспериментальных единиц известен или, как подозревается, существует.

Систематическая схема (А-3) позволяет достичь очень регулярного перемешивания повторностей, однако всегда остается вероятность того, что расстояние между площадками совпадет с некоторым периодическим изменением окружающей среды. Хотя этот риск является очень небольшим в большинстве полевых экспериментов, его всe же следует принимать во внимание.

Комбинированный или гибридный подход состоит в том, что принимается во внимание как расположение экспериментальных единиц, так и их состояние до эксперимента, а назначение воздействий осуществляется в значительной степени субъективно. Задачей исследователя становится выбор такого варианта, при котором достигаются как наилучшее перемешивание, так и наименьшее различие в свойствах объектов, к которым будут применены различные воздействия. Мы использовали такой подход в исследованиях эффекта воздействия инсектицида (Hurlbert et al., 1972) и откорма рыб на популяциях планктонных организмов (Hurlbert, Mulla, 1981). В последнем эксперименте было первоначально три уровня воздействия (0, 50 и 450 рыб на водоем), ограниченная и неравная повторность (5, 4 и 3 водоема на каждый уровень воздействия), а также отмечена исходная неоднородность водоемов. Неравная повторяемость была вызвана нашим представлением о том, что конечная плотность планктонных популяций среди совокупности водоемов будет обратно пропорционально связана с численностью рыб. При малом числе объектов и большой их изменчивости комбинированный подход становится не только предпочтительным, но часто и единственно возможным.

Простое и групповое разделение (simple and clumped segregation; В-1, В-2). В полевых в экологических экспериментах такие типы распределения повторностей достаточно редки. Можно привести три примера таких работ (Vossbrinck et al., 1979; Rausher, Feeny, 1980; Warwick et al., 1982). По-видимому, подавляющее большинство исследователей, достаточно проницательных, чтобы видеть потребность в физически независимых выборках, также интуитивно чувствуют и необходимость перемешивания воздействий. Напротив, в лабораторных экспериментах групповое распределение встречается весьма часто.

Опасность группировки повторностей любого вида состоит в том, что она повышает вероятность неверного обнаружения различий между сравниваемыми воздействиями (т.е. к ошибке первого рода). Такой исход может быть следствием двух причин, влияющих вместе или по отдельности. Во-первых, нами могут быть не замечены существующие до начала эксперимента различия между "физическими местоположениями", в которых размещены единицы с одним типом воздействия. В теории эти различия могли быть измерены, но это требует и усилий, и знания того, что конкретно измерять. Во-вторых, в результате несверхъестественного влияния, случайно обусловленные различия между "физическими местоположениями" могут возникнуть или стать больше во время эксперимента независимо от любого истинного эффекта воздействия.

В этом примере, как и во многих других лабораторных опытах, само по себе перемешивание воздействий не очень необходимо как средство выравнивания условий внешней среды, в которых находятся экспериментальные единицы с разным воздействием. Однако перемешивание действительно важно как средство компенсации несверхъестественных влияний или дифференцирующего вмешательства случайных событий в ход эксперимента. Если бы все аквариумы, контрольные и с внесенным ДДТ, были бы разумно перемешаны, то погасшая лампочка или градиент формальдегида не оказали никакого влияния на оценку различий в отклике на уровень воздействия (или это влияние было бы небольшим). В такой ситуации были бы устранено некорректное смещение результатов обработки, хотя, вероятно, заметно бы увеличилась дисперсия измерений среди аквариумов в каждой выборке и обнаружение любого истинного эффекта воздействия стало бы более затруднительным.

Физически связанные повторности (physically interdependent replicates; В-4). До сих пор мы обсуждали размещение повторностей в пространстве как способ достигнуть и утвердить статистическую независимость выборок. Однако такое перемешивание не всегда оказывается достаточным. Например, если 4 аквариума имеют общую систему подогрева и аэрации, их пространственное перераспределение (рис. 1, вариант В-4) ничуть не улучшит план эксперимента по сравнению с изолирующим разделением (В-3), поскольку любое случайное событие затронет все 4 сосуда, вызвав появление различий между опытом и контролем. Следовательно, в подобных опытах каждая экспериментальная единица должна иметь независимую систему жизнеобеспечения. Тогда случайная техническая неудача, выброс загрязнения или другой вид несверхъестественного вмешательства затронет только единственную экспериментальную единицу и вряд ли окажет влияние на оценку эффекта воздействия. Такой же удовлетворительный результат может быть получен, когда все экспериментальные единицы, включая все уровни воздействий, присоединены к единой системе обслуживания.

Из сказанного выше следует, что часто имеется конфликт между традицией использования процедур рандомизации и желательностью перемешивания повторностей. Процедуры рандомизации иногда формируют выборки из объектов с одним и тем же уровнем воздействия, особенно когда количество повторений невелико и используется полностью случайный алгоритм распределения. Стандартные планы (рандомизированные блоки, латинские квадраты и др.), использующие ограниченную рандомизацию, снижают вероятность выбора чрезвычайно сегрегированных расположений, но все равно оставляют возможность выбора планов, неприемлемых для вдумчивых экспериментаторов (рис. 3).

Д. Кокс (Cox, 1958, р. 85-90) обсуждает три возможных решения этой проблемы. Из них самым простым и наиболее полезным является второй: отбрасывайте сильно сгруппированные варианты расположения и выполняйте "повторную рандомизацию" до тех пор, пока не получите распределение с приемлемой степенью перемешивания. Идеально, если критерии качества размещения определены заранее.

Эта процедура приводит к планам, которые, в среднем, лучше перемешаны (систематическим или сбалансированным), чем полученные в соответствии со строгими процедурами рандомизации. Но этот метод также лишает нас знания точного значения a (вероятности ошибки первого рода), и поэтому такое решение было бы неприемлемо для Р. Фишера. Для него строгая спецификация a являлась непременным условием доброкачественного плана эксперимента. Его непримиримое неприятие любых отклонений от процедуры строгой рандомизации и, особенно, систематических планов (Barbacki, Fisher, 1936; Fisher, 1971, p. 64-65, 76-80) стало аксиомой, получившей распространение среди его последователей и установившей тон литературы по этой теме. Такое утверждение не является полностью обоснованным и, в частности, систематическое или какое-либо иное перемешивание заслуживает большего внимания, чем ему придавал Р. Фишер.

Самая четкая защита систематических размещений была сделана В. Госсетом в течение последнего года жизни, и его основные аргументы (Gossett, 1937, р. 363-367), опубликованные после его смерти, кажутся неопровержимыми. Ф. Йетс (Yates, 1939) подробно комментировал эту работу в умеренном тоне, признавая справедливыми ряд положений В. Госсета, но в целом, оставаясь на позициях Р. Фишера. Последний никогда в полной мере не отвечал на эту статью, за исключением комментария о том, что отказ В. Госсета “признать необходимость рандомизации... был, возможно, только знаком лояльности к коллегам, работа которых была в этом отношении открыта для критики” (Fisher, 1939, p. 7).

К огромному сожалению В. Госсет не успел при жизни разрешить это противоречие, а после его смерти некому было поддержать его флаг в этой дискуссии. Если бы он и Р. Фишер были в состоянии сосредоточиться вместе на основных принципах (многие из их аргументов касались специфического сельскохозяйственного метода, называемого "методом полубороздовой полосы"), то между ними, возможно, было бы найдено больше точек соприкосновения. Но тогда, вероятно, было бы неизбежным, чтобы представления Р. Фишера о систематических или сбалансированных планах возобладали. Р. Фишер не только переживший В. Госсета на четверть века, но и гораздо более издававшийся (более 300 статей, плюс 7 книг, против 22 статей В. Госсета), имел огромный авторитет как учитель, консультант и советник сельскохозяйственных школ и многих ученых во всем мире. Положение В. Госсета, как статистика и технолога пивоваренных заводов Guinness, было намного более скромным.

Нет никакого сомнения в том, что Р. Фишер осознавал значимость перемешивания, для того чтобы минимизировать отклонения и опасность получения некорректных результатов (см.: Fisher, 1926, р. 506; 1971, р. 43). Почти вся его работа по планированию эксперимента была сосредоточена на методах, использующих ограниченную рандомизацию, которые не только гарантировали бы некоторую степень перемешивания, но и часто увеличивали чувствительность эксперимента по обнаружению эффекта воздействия. Р. Фишер отличался от В. Госсета прежде всего в мнении, что перемешивание является вторичным и никогда не должно быть самоцелью в ущерб точному знанию a. Чтобы обсудить это противоречие далее, мы должны задаться вопросом, насколько важно знать величину a точно. Если мы действительно знаем ее, то что мы реально знаем? Если мы пожертвуем этим знанием, от чего мы реально откажемся?

Не зависящая от размещения (pre-layout) и обусловленная размещением (layout-specific) вероятности a. Ясность появляется, когда будет достигнуто понимание отличия двух альф, которые я назову как не зависящая от размещения альфа (a_PL) и обусловленная размещением альфа (a_LS). Они противопоставлены в табл. 2. Различие было четко сформулировано В. Госсетом (Gossett, 1937, р. 367) и, по-видимому, адекватно понято статистиками.

* Только при условии, что процедуры рандомизации используются везде, где это возможно.

a_PL – это традиционная альфа, которой придавали большое значение Р. Фишер и другие статистики и которую обычно рассчитывает экспериментатор. Она определяет вероятность ошибки первого рода, т.е. заключения, что эффект воздействия имеет место, когда фактически его нет. Эта вероятность усредняется по всем возможным комбинациям размещения экспериментальных единиц относительно уровней воздействия. Или в символьном выражении: , где суммирование идет по всем возможным размещениям n.

Когда выбран определенный план экспериментального размещения и уровни воздействия соотнесены с экспериментальными единицами, можно определить a_LS – вероятность ошибки первого рода при использовании именно данного размещения. Так как каждый эксперимент обычно выполняется только единожды с использованием единственного размещения, a_LS представляет намного больший интерес для экспериментаторов, чем a_PL. Обычно a_LS не равно a_PL. Например, если пространственный градиент переменных, оказывающих влияние, будет существовать в ряду или на сетке экспериментальных единиц, то a_LS обычно будет ниже a_PL, когда воздействия хорошо перемешаны, и выше, чем a_PL, когда воздействия до некоторой степени сгруппированы.

Проблема состоит в том, что величина a_LS не может быть известна или точно определена. Это не зависит от того, было ли конкретное размещение получено методами рандомизации или нет. Таким образом, экспериментаторы должны возвратиться к a_PL как к единственному объективному способу определить допустимый риск ошибки, даже если a_PL слабо связана с фактически проведенным экспериментом. Это не означает, однако, что, если мы устанавливаем уровень значимости для a_PL, равный 0.05, мы должны придерживаться всех процедур (строгой рандомизации, в особенности) необходимых для того, чтобы гарантировать точность этой спецификации. Иными словами, если вы выберете систематический или сбалансированный план размещения, как рекомендует В. Госсет (Gossett, 1937), или используете вторую схему, предложенную Д. Коксом (Cox, 1958), или достигнете перемешивания еще каким-то специальным методом, то любой из этих экспериментов приведет, вероятно, к соотношению a_LS < 0.05. То есть, эксперимент будет достаточно консервативен относительно ошибки первого рода. Д. Кокс (Cox, 1958, p. 88) так кратко суммирует философию этого подхода: “…использовать подозрительные планы размещения лишь только, чтобы соблюсти формальные правила, - значит втискивать наше поведение в прокрустово ложе математической теории. Наша цель - выбор плана конкретного эксперимента, который будет хорошо работать; в выполнении этого нам могут помочь основные концепции, но точное выполнение всех математических условий не является главной целью.”

Что более полезно: (1) знать, что выбранное значение a представляет вероятную верхнюю границу для a_LS, или (2) быть уверенным, что оно точно равняется a_PL, и иметь смутное представление относительно того, какова может быть верхняя граница для a_LS? Каждый экспериментатор должен решить эту дилемму для себя.

Смещена ли оценка эффекта воздействия? Второе классическое возражение по использованию систематических планов состоит в том, что “отклонения могут быть заложены вместе с факторами воздействия вследствие того, что схема систематического размещения будет совпадать с рисунком распределения плодородия на поле, и эти отклонения могут проявляться в целой группе опытов с одинаковыми схемами размещений” (Yates, 1939, p. 442). Это возражение также относится ко всем планам, где специальные усилия достигнуть хорошего перемешивания произвели в итоге некоторую отмеченную степень регулярности в схеме экспериментального размещения. Хотя приведенные рассуждения многократно повторяются в учебниках по статистике и планированию эксперимента, эти возражения не имеют под собой основы. В небольших экспериментах рандомизация будет часто производить систематические или почти систематические схемы расположения. Будут ли отброшены такие хорошо перемешанные "правильные" размещения приверженцами фишеровской идеологии из-за небольшого шанса совпадения с пространственной периодичностью? Представляется, что не будут. Они, вероятно, сияют от удовлетворения, думая, что можно получить лучшее из обоих миров: определить a_PL, и иметь серьезное основание полагать, что a_LS < a_PL. Кроме того, когда некоторый фактор действительно колеблется по своей величине в экспериментальной области, это обычно бывает очень нерегулярно и апериодически. В этом случае, самое большое смещение в оценке эффекта воздействия будет при использовании некоторой специфической несистематической схемы (или плана иного типа), но никак не при систематическом размещении.

Однако Р. Фишер сам был настолько ревностным в этой дискуссии, что он, возможно, предпочел бы худший из обоих миров, вместо того, чтобы уступить оппонентам какую-либо "пядь земли". Когда его спросили в 1952 г., что он сделал бы, если бы процедура рандомизации случайно произвела специфический систематический план латинского квадрата, “"сэр" Рональд сказал, что он бы попробовал выбрать еще раз и что в идеале необходима теория, явно исключающая регулярные квадраты” (Savage et al., 1962, р. 88). В 1956 г. в разговоре с ним В. Юден (Youden, 1972) описал процедуру "ограниченной рандомизации", в которой точное знание a_PL сохранено за счет того, что отбраковываются и очень сегрегированные, и очень перемешанные варианты размещения. В его примере с четырьмя уровнями воздействия и двумя повторностями по каждому уровню В. Юден отбросил бы среди прочих следующие размещения: AABBCCDD, AABBCDCD, ABCDABCD и ABCDBADC. Возможно, такая процедура была бы допустима для Р. Фишера. В любом случае, для двух последних хорошо перемешанных размещений гораздо меньше риск ошибочного обнаружения эффекта воздействия, чем для многих размещений, допустимых для В. Юдена (например, ABACCDDB). Хотя можно было попытаться минимизировать некоторые подобные нелепости, подстраивая критерии приемлемости Юдена, я полагаю, что нежелателен любой подход, который априорно отклоняет определенные схемы размещения из-за предполагаемой "чрезмерной" степени перемешивания или регулярности.

Очевидно, что в многократно повторяемых сериях экспериментов нежелательно использовать много раз один специфический систематический план, точно так же, как было бы нежелательным получить единственный рандомизированный план и использовать его неоднократно. Все же нужно признать, что на практике специфические систематические схемы используются много раз в определенных типах работы. Обычно это делается не из статистических побуждений, а скорее, из-за удобств эксплуатации. Классический пример – план, к которому приводит "метод полубороздовой полосы" при посадке зерновых двух разновидностей (Gossett, 1923; Neyman, Pearson, 1937). Это привело к чередованию полос зерновых следующим образом: ABBAABBAABBAAB. Достоинства и ошибки такого расположения, используемого неоднократно, были центром большой части дебатов между Р. Фишером и В. Госсетом.

Чтобы оценить частоту использования мнимых повторностей в литературе, мы исследовали экспериментальные планы и статистические анализы 156 статей, сообщивших о результатах управляемых экологических экспериментов в полевых условиях. Эти статьи охватывают результаты всех полевых экспериментов, опубликованных в последних томах выбранных журналов: Ecology (1979, 1980); American Midland Naturalist (1977, 1978, 1979, 1980); Limnology and Oceanography (1979, 1980); Journal of Experimental Marine Biology and Ecology (1980); Journal of Animal Ecology (1979, 1980); Canadian Journal of Fisheries and Aquatic Sciences (1980, № 3); Journal of Mammalogy (1977, 1978, 1979, 1980). Анализу также подверглись экспериментальные статьи в томе под редакцией В. Керфута (Kerfoot, 1980), а также статьи, внесенные в библиографический список несколько недавних статей и обзоров (Connell, 1974; Hurlbert, 1975; Chew, 1978; Hayne, 1978; Hayward, Phillipson, 1979; Paine, 1980; Peterson, 1980; Virnstein, 1980; Hurlbert, Mulla, 1981; Munger, Brown, 1981). Каждая статья была помещена в одну из четырех категорий, согласно тому, повторялись ли воздействия и были ли выполнены проверки по критериям значимости. Результаты представлены в табл. 3.

*⁾ Если работа представляла два или больше эксперимента и они относятся к различным категориям, то эта статья учитывалась неоднократно, т.е. для каждой категории. Следовательно, число учтенных в анализе исследований несколько больше, чем число обследованных статей (в круглых скобках).