Составляющие научного исследования: теории, гипотезы, модели

Оценка погрешности измерений

Проверка статистических гипотез и связанные с этим проблемы

Общее функциональное описание параметров управляемой экосистемы

А. Эйнштейн

Функциональное описание любой сложной системы задается набором параметров морфологического описания Х (включая воздействия извне), числовым функционалом Y, оценивающим качество системы, и некоторым математическим оператором детерминированного или стохастического преобразования Y , определяющим зависимость между состоянием входа Х и состоянием выхода Y:

Y = Y (X) .

Из общей теории моделирования экологических систем (Шитиков и др., 2004) принято выделять пять групп показателей с точки зрения способа их экспериментального получения и использования в ходе обработки:

1. управляющие параметры – U = (u₁, u₂, …, u_r), – с помощью которых можно оказывать прямое воздействие в соответствии с заданными требованиями, что позволяет управлять системой (к ним можно отнести и регулируемую интенсивность изучаемых физико-химических факторов в эксперименте на микрокосмах и ряд целенаправленных мероприятий по охране и восстановлению природной среды для макроэкосистем);
2. неуправляемые (режимные) параметры – V = (v₁, v₂, …, v_k), – значения которых могут быть измерены, но возможность воздействия на них отсутствует (применительно к моделям экосистем, к таковым можно отнести солнечную активность, глобальные климатические явления, неуправляемую хозяйственную деятельность человека и т.д.);
3. неконтролируемые возмущающие воздействия – Z = (z₁, z₂, …, z_l), – значения которых случайным образом меняются с течением времени и которые недоступны для измерения, создавая дисперсию неучтенных условий или стохастический шум x ("несверхъестественные и сверхъестественные вмешательства", по С. Хелберту);
4. параметры состояния – X = (x₁, x₂, …, x_n) – множество внутренних параметров, мгновенные значения которых определяются текущим режимом функционирования экосистемы и, в конечном итоге, являются результатом суммарного воздействия входных, управляющих и возмущающих факторов, а также взаимного влияния других внутрисистемных компонентов;
5. выходные (целевые или результирующие) параметры – Y = (y₁, y₂, …, y_m) – некоторые специально выделенные параметры состояния (либо некоторые функции от них), которые являются предметом изучения (моделирования, оптимизации) и которые используются в качестве критерия "благополучия" всей экосистемы.

По отношению к экосистеме входные и управляющие параметры являются внешними, что подчеркивает независимость их значений от процессов внутри нее. Возмущающие факторы могут иметь как внешнюю, так и внутреннюю природу.

По традиции, восходящей к Н. Винеру (1958), объект экологических исследований можно рассматривать в виде "черного ящика" (рис. 4). Точнее было бы называть изучаемую экосистему "серым ящиком", поскольку всегда имеются как некоторая априорная информация, позволяющая сформулировать гипотезы относительно структуры и параметров статистической модели объекта, так и существенная неопределенность поведения изучаемой системы, раскрытие которой является предметом проводимых исследований.

U _i - управляемые; V _i - неуправляемые; Z_i - неконтролируемые внешние факторы; x - стохастический фактор (шум); X_i - параметры состояния экосистемы;

Предполагая, что параметры экосистемы связаны некоторыми функциональными отношениями, которые в синтезируемой модели выражаются набором уравнений Y различной математической природы (алгебраические, логические, дифференциальные, конечно-разностные, матричные, статистические и проч.), общее выражение можно записать как: Y = Y (X, U, V) + x .

Любая экосистема представляет собой динамический объект, поэтому уравнение статической модели должно быть дополнено множеством моментов времени T, для которых измерены мгновенные значения переменных. Поскольку экосистемы относятся также к объектам с распределенными параметрами, компоненты которых могут меняться не только во времени, но и в пространстве S, то общее уравнение модели экосистемы приобретает вид: Y = Y (X, U, V, T, S) + x .

Одной из самых генеральных идей многомерного анализа данных является принцип эффекта существенной многомерности, сущность которого в том, что выводы, получаемые в результате наблюдений над множеством изучаемых объектов, “должны опираться одновременно на совокупность взаимосвязанных свойств этих объектов с обязательным учетом структуры и характера их связей” (Айвазян и др., 1989). Природа эффекта существенной многомерности поясняется этими авторами на таком примере: попытка различить два типа потребительского поведения семей, основанная на последовательном применении критерия однородности Стьюдента сначала по одному признаку (расходы на питание), потом по другому (расходы на промышленные товары и услуги) не дала результата, в то время как многомерный аналог этого критерия, основанный на расстоянии Махалонобиса и учитывающий одновременно все признаки, дал правильный результат.

Учет по возможности максимального количества факторов X и V, влияющих в ходе эксперимента на результат оценки отклика, является также важным условием достоверности получаемых выводов. За этим, собственно говоря, и скрыт субъективный фактор, называемый обычно искусством экспериментатора.

Для дальнейшего анализа наблюдаемых данных важно различать группы шкал, предназначенных для измерения признаков: количественные шкалы (интервалов, отношений и aбcoлютная); порядковые шкалы (полного или частичного порядка рангов, баллов) и номинальные шкалы наименований.

Порядковые шкалы упорядочивают объекты в определенной последовательности, иными словами, ранжируют их, однако без четкой единицы измерения. Например, известно, что А "больше" В, а В "больше" С и т.д. Здесь "больше" можно интерпретировать как более сильное развитие изучаемого признака, т.е. свойства некоторой интенсивности. Примерами порядковых шкал также являются всевозможные шкалы оценок качества вод, растительности, бонитета, типов грунтов и др. Хотя порядковые шкалы не дают возможности установить точные количественные соотношения между элементами, числовые оценки по этим шкалам можно использовать для математического моделирования и даже для поиска оптимума по таким моделям. Особенно успешно могут решаться задачи, если шкалы (и комментарий к ним) будут создаваться высококвалифицированными экспертами по научно обоснованным методикам с привлечением современного математического аппарата, в частности, методов непараметрической статистики. По нашему мнению, это уменьшит отрицательные последствия использованиятаких шкал, выраженные в экологии в появлении многочисленных, не всегда продуманных индексов, и позволит получить не только разумные оценки среднего, но и других числовых характеристик.

Количественные или метрические шкалы наиболее полно соответствуют процессу измерения, так как содержат ссылку на единицу измерения. Их применение в математическом анализе не нуждается в пояснениях.

Особенностью "активного" (или управляемого) эксперимента является существование множества факторов U, которым в исходном состоянии устанавливаются некоторые конкретные значения, поддерживаемые на постоянном уровне в течение всего опыта. Планировать эксперимент полезно в том случае, если эти факторы являются управляемыми в пределах некоторой заданной точности, устраивающей исследователя. Если факторы измеряются с большой ошибкой или особенность объекта исследования такова, что значения факторов трудно поддерживать на выбранном уровне (уровень фактора "плывет"), то при статистической обработке данных экспериментатору следует обратиться, например, к конфлюэнтному анализу (Клепиков, Соколов, 1964).

Управляемые факторы должны отражать непосредственное воздействие на объект, т.е. факторы должны быть однозначными. Трудно управлять фактором, который является функцией других факторов. Но в планах эксперимента могут участвовать сложные факторы (соотношения между компонентами, их логарифмы и т.п.), необходимость введения которых возникает при желании представить динамические особенности объекта в статической форме.

При планировании эксперимента обычно одновременно изменяется несколько факторов U. Поэтому очень важно сформулировать требования, которые предъявляются к совокупности факторов. Прежде всего, выдвигается требование совместимости, означающее, что все комбинации уровней факторов осуществимы и безопасны. Важна также независимость факторов, т.е. возможность установления фактора на любом уровне вне зависимости от уровней других факторов. Это условие выполнимо, если отсутствует значимая корреляция между факторами.

Не включаемые в анализ режимные параметры V, неконтролируемые возмущающие воздействия Z и стохастический шум x обуславливают наличие в структуре полученных экспериментальных данных различных неоднородностей и дрейфов, что является типичным явлением для большинства реальных экспериментов (Маркова, Лисенков, 1973).

Источники неоднородностей дискретного типа. В экологических исследованиях источниками неоднородностей дискретного типа чаще всего являются различия в типах или составе изучаемых биологических сообществ, экспериментальных или биотопных условиях, применяемых материалах, способах взятия проб, идентичности работы исполнителей и т.п. Так весьма часто экспериментатор не в состоянии провести всю серию экспериментов на полностью однородных группах подопытных животных. Иногда приходится сравнивать результаты наблюдений, проведенных в различных природно-климатических условиях, на разных водоемах, с сезонным сдвигом или при изменении режимов дня и т.д. Например, в сельскохозяйственных исследованиях источники неоднородностей - это различия в плодородности участков земли, в удобрениях, сортах семян, способах ирригации и многое другое. Возможные различия в процедурно-аппаратурном оформлении опыта также рассматриваются как источники неоднородностей. Несмотря на то, что лаборанты работают по одной и той же методике, результаты обработки проб могут отличаться друг от друга и сильно увеличивать ошибку эксперимента.

Подобные дискретные источники неоднородностей имеют качественную природу, и возможные уровни этих факторов представляются в порядковой шкале или шкале наименований. Как правило, источники неоднородностей, аналогичные перечисленным выше, не являются основными факторами, влияние которых интересует исследователя. Это - те факторы, которые увеличивают ошибку эксперимента, создают шумовое поле и дискретный пространственно-временной дрейф. Влияние их обычно исключают, а не оценивают, т.е. задача планирования эксперимента - свести к минимуму влияние дискретных факторов неоднородностей, получить неискаженную оценку ошибки и неискаженные оценки эффектов основных факторов. С другой стороны, если дискретные источники неоднородностей являются значительными, их следует измерять и включать в состав математических моделей. В противном случае отображение влияния управляемых факторов на отклики будет существенно искажено (Цейтлин, 2007).

Источники неоднородностей непрерывного типа. Эти источники вызывают непрерывные изменения свойств объектов - дрейф его выходного показателя во времени или по какой-либо другой координате. В сельском хозяйстве причинами дрейфа, выражающимися, например, в изменении урожая, могут быть изменения метеорологических условий. В биологических исследованиях, например при культивировании микроорганизмов, дрейф выходного показателя может быть обусловлен изменением во времени свойств используемых посевных культур, питательных сред и других факторов.

В обычной практике планирования эксперимента искажающее влияние таких "неуправляемых" факторов пытаются уменьшить, сделать их воздействие "случайным" путем рандомизации условий проведения эксперимента. При наличии априорной информации об источниках неоднородностей можно повысить точность статистического анализа результатов (уменьшить остаточную дисперсию), а также оценить влияние неуправляемых факторов, используя определенные планы, которые можно рассматривать как специальные приемы рандомизации, когда на нее накладываются ограничения.

Мы не считаем целесообразным предлагать какие-то рекомендации по формированию множества регистрируемых параметров состояния экосистемы X, поскольку этот список сильно зависит от предметной составляющей и от задач исследования. Важно лишь, чтобы эти показатели были измеряемыми и подобраны с адекватной полнотой. Однако исследователи при формировании оптимальных планов эксперимента сталкиваются с некоторыми практически важными аспектами другой весьма сложной проблемы - выбором параметра оптимизации Y. Он определяет реакцию объекта (отклик) на воздействия факторов и является, как правило, одним из ведущих параметров состояния, который определяет всю динамику поведения изучаемой экосистемы. Несмотря на то, что иногда удается с помощью частных приемов, таких, например, как функции желательности, сконструировать из нескольких показателей обобщенный параметр оптимизации, общее правило заключается в единственности целевого критерия Y, в то время как остальные переменные рассматриваются только как ограничения. Однако, как указывал С. Бир (1965): “Отличительной особенностью любой кибернетической системы можно считать полную бессмысленность рассмотрения ее иначе, как единого организма”, что делает выбор оптимизируемого параметра далеко не однозначным. Поэтому только напомним, что целевой отклик Y должен быть эффективным с точки зрения достижения цели, универсальным, количественным и выражаться одним числом.

А. Блох “Законы Мерфи”

Исторически эпоха научного подхода в планировании эксперимента открывается основополагающей книгой Рональда Фишера “The Design of Experiments” (1971, изданной в 1935 г. и до сих пор не переведенной на русский язык), в которой предложены полные факторные эксперименты (ПФЭ) и способы обработки их результатов. Традиционные схемы полевого опыта до Р. Фишера основывались на идее прямых наблюдений – исследователь включал в схему все интересующие его варианты, которые ввиду существующей изменчивости результатов эксперимента приходилось многократно дублировать. Практикой была установлена необходимость четырех-пятикратной повторности наблюдений (k = 45), в результате чего усредненные результаты оказывались случайными оценками с дисперсией.

В схемах опыта, предложенных Р. Фишером, уровни варьирования всех факторов в каждом опыте строго фиксированы и выражаются небольшими целыми числами. Для пересчета реальных уровней варьирования факторов, измеренных в разных по наименованию шкалах и размерностях, используется система кодирования.

Наиболее употребительна кодировка факторов, где последовательные уровни кодированных факторов выражаются целыми числами -2, -1, 0, 1, 2 и т. п. Пусть, например, изучается влияние внесения Х_i удобрения на урожайность, причем нижний уровень фактора Х₁ составляет 0 кг/га (внесение удобрения отсутствует), верхний уровень внесения - 90 кг/га, а средний - 45 кг/га. Тогда, например, можно использовать два способа кодирования. Если ввести нормированную переменную х_i  = (Х_i - 45)/45, то она будет принимать следующие условные значения: -1 – нижний уровень; 0– средний; 1 – верхний уровень. Такая кодировка чаще используется при построении моделей регрессионного анализа. Другая кодировка, применяемая при построении моделей дисперсионного анализа, основана на нормированной переменной х_i  =  Х_i/45 и использует следующие условные значения: 0 – нижний уровень; 1 – средний; 2 – верхний уровень. Целочисленные кодировки уровней факторов удобны для компактной записи количества вариантов (опытов) схемы в виде шифров х₁х₂х₃х₄. Например, при кодировке х_i  = Х_i/45 шифр 1102 означает, что первые два фактора зафиксированы на среднем уровне, третий - на нижнем, четвертый - на верхнем уровне. Абсолютный контроль (все факторы на нижнем уровне) в такой кодировке обозначается 0000.

Для составления схемы полного факторного эксперимента (ПФЭ) следует выписать все комбинации уровней всех факторов. Продемонстрируем методику составления этих схем на примерах.

1. ПФЭ типа 2^k - так обозначаются схемы полного факторного эксперимента (ПФЭ) при двух уровнях варьирования факторов. Если количество факторов k = 2, то количество n  опытов в схеме равно 2^k = 2² = 4.

Пусть мы имеем два фактора (в кодированных обозначениях) х₁ и х_2, которые принимают два уровня 0 и 2. Для составления схемы ПФЭ 2²  (или ПФЭ 2´ 2) следует два уровня первого фактора повторить на нижнем и на верхнем уровнях второго фактора: 00, 20, 02, 22.

Полные факторные схемы ПФЭ допускают максимально возможное число сравнений вариантов. Рассмотрим, например, первые два варианта 000 и 200 схемы ПФЭ 2³. На рис. 5 эти варианты располагаются вдоль оси х₁. Эти два варианта различаются только воздействием х₁: при переходе от первого варианта ко второму значение х₁ возрастает на две единицы. Следовательно, разница в результатах (у₂ - у₁) характеризует линейный эффект фактора х₁ - изменение отклика у (урожайности, прибыли и т.п.) при увеличении х₁ на две единицы: = (у₂ - у₁)/2 (х₂ = 0,  х₃ = 0).

Сравнивая попарно все варианты, связанные с осью х₁ (020 - 200, 002 - 202 и 022 - 222), находим ещe три оценки линейного эффекта фактора х₁:

= (у₄ - у₃)/2 (х₂ = 2,  х₃ = 0); = (у₆ - у₅)/2 (х₂ = 0,  х₃ = 2); = (у₈ - у₇)/2 (х₂ = х₃ = 2).

Среднее арифметическое четырех оценок будет эквивалентно четырехкратной повторности простого опыта для определения линейного эффекта фактора х₁:

==.

В числителе стоит алгебраическая сумма наблюдаемых откликов с чередующимися знаками.

Все результаты схемы ПФЭ 2³ можно использовать повторно - на этот раз для оценки линейного эффекта второго фактора х_2. Для этого надо сравнить пары вариантов, расположенные вдоль оси х₂, и получить среднее арифметическое этих четырех оценок, что будет эквивалентно четырехкратной повторности простого опыта для определения этого эффекта:

.

И, наконец, все результаты схемы 2³ можно использовать третий раз для оценки линейного эффекта третьего фактора х₃. Для этого надо сравнить варианты, расположенные вдоль оси х₃, т.е. четыре варианта на нижней крышке куба (см. рис. 5) с соответствующими вариантами на верхней крышке куба: 000 – 002, 200 – 202, 020 – 022, 220 – 222.

Легко продемонстрировать преимущество полной факторной схемы перед традиционной. По сравнению с простым опытом для оценки трех эффектов b₁ , b₂ , b₃ мы уже выиграли в объеме работы в 3 раза и это еще не все.

Если сравнивать оценки , то легко заметить, что они получены при одном и том же значении фактора х₃  = 0, но при разных значениях фактора х₂ . Поэтому разница в этих оценках характеризует “взаимодействие линейных факторов” – на сколько изменяется линейный эффект фактора х₁ при изменении фактора х₂ на единицу: . По второй паре и находим еще одну оценку взаимодействия .

Среднее арифметическое этих оценок будет в 2раза надежнее

Аналогично вычисляются взаимодействия первого и третьего факторов, а также второго и третьего:

; .

Сравнивая две оценки для взаимодействий линейных факторов и , приходим к понятию "взаимодействие трех факторов" – на сколько меняется взаимодействие двух факторов х₁х₂ при изменении третьего фактора х₃ на единицу:

Наконец, можно вычислить среднее арифметическое:

По результатам 8-ми вариантов найдено 8 оценок – (, b₁ , b₂ , b₃ , b₁₂ , b₁₃ , b₂₃ , b₁₂₃), что является пределом насыщения схемы 2´ 2´ 2. Но все эти вычисления приводят к интерполяционному уравнению

,

включающему линейные члены, парные и тройное взаимодействие. Априори (до опытов), планируя ПФЭ 2³, мы предполагали отсутствие в этом уравнении квадратичных членов типа ß_ii  х(i = 1, 2, 3). Проверка адекватности этого уравнения заключается в проверке гипотезы о том, что сумма коэффициентов при квадратичных членах ß₁₁ + ß₂₂ + ß₃₃ = 0, а также гипотезы о том, что дисперсия s остаточной ошибки этого уравнения и дисперсии s ошибки воспроизводимости опыта равны, т.е., что s = s . Для этого в центре плана (точке 111, обозначенной на рис. 5 звездочкой) дополнительно выполняются несколько параллельных опытов. Если значение у_р рассчитанное по интерполяционному уравнению и наблюдаемое значение (х*, х*, х*) в центре плана совпадают (в пределах точности опыта) и не отклоняется гипотеза о том, что s = s , то такое уравнение считается адекватным результатам эксперимента (Цейтлин, 2007, с. 657).

Однако может оказаться, что полученное интерполяционное уравнение не адекватно результатам эксперимента. Причиной этого может быть отклонение гипотезы о равенстве коэффициентов ß₁₁ + ß₂₂ + ß₃₃ = 0. Члены уравнения ß_ii х отражают нелинейный (параболический) характер зависимости отклика от соответствующих факторов. Таким образом, мы приходим к необходимости ввести квадратичные эффекты ß_ii.

Схемы ПФЭ 2^k являются схемами первого порядка, поскольку они позволяют оценивать параметры только линейной модели. Линейные модели в биологии и экологии часто оказываются неадекватными, поэтому не имеют самостоятельного значения и входят в состав более сложных схем.

2. ПФЭ типа 3^k – так обозначают полные факторные схемы при трех уровнях варьирования k факторов. Это схемы являются схемами второго порядка, т.е. допускают вычисление параметров полной квадратичной модели. Количество планируемых опытов равно n = 3^k, поэтому будем рассматривать только три схемы - по 3´ 3 = 9, 3´ 3´ 3 = 27 и 3´ 3´ 3´ 3 = 81 опытов соответственно.

b₁₁₂ , b₁₂₂ – взаимодействие квадратичных и линейных эффектов;

b₁₁₂₂ – взаимодействие квадратичных эффектов.

В табл. 4, описывающей ту же схему, используется иная знаковая кодировка факторов: -1 (представлен знаком “-”) - нижний уровень, 0 - средний и 1 (знак “+”) - верхний.

Схема ПФЭ 3´ 3 в виде, удобном для математической обработки

Обработку результатов этой схемы также можно провести описанным выше методом сравнений. Опуская промежуточные подстановки, получим среднюю арифметическую оценку линейных эффектов факторов х₁, х₂ и их парное взаимодействие:

; ; .

Отметим, что чередование знаков в числителе для эффектов b₁  и b₂  полностью совпадает со столбцами х₁ и х₂ в табл. 4 соответственно. Суммы квадратов значений этих факторов равны 6, что соответствует знаменателям формул. Чередование знаков в числителе формулы для эффекта взаимодействия b₁₂  совпадает с чередованием знаков столбца х₁х₂ , а сумма квадратов этого фактора также равна знаменателю.

Рассуждая аналогично, получим формулу вычисления квадратичного эффекта b_11. В отличие от предыдущих случаев сумма значений нового фактора х₁² равна 6 (а не 0) и среднее значение этого фактора ⁶/₉ = ²/₃ . Вводим фиктивный центрированный квадратичный фактор х₁₁ = х₁² – ²/₃ , для которого получается нужное чередование знаков (см. табл. 4), а квадратичный эффект вычисляем по общей формуле:

= = ,

что совпадает с формулой, полученной методом сравнений.

Аналогично вычисляется квадратичный эффект второго фактора:

.

Интерполяционное уравнение для схемы 3´ 3 имеет вид:

.

Ввиду изменчивости наблюдений расчетные значения у_р также будут случайными оценками с дисперсией , где – среднеквадратичная ошибка опыта (прямых наблюдений); n – количество опытов в схеме, m – повторность опыта; d(x) – коэффициент, зависящий от типа схемы, оцениваемого варианта и вида интерполяционного уравнения. Значения d(x) для уравнения вычисляются по формуле , где z_i  – базисные функции x_i; c_ij  – элементы матрицы, обратной к матрице коэффициентов корреляции .

Повторность опыта m определяется из требования, чтобы дисперсия ошибки расчетного значения для наихудшего варианта схемы была не больше случайной ошибки прямого наблюдения (если бы такой вариант был условно реализован с учетом с - кратного повторения последнего): ; откуда. Число условных повторений с, влияющее на общее число опытов, определяется экспертами в зависимости от длительности опытов, физических и финансовых возможностей. Если эксперименты очень дороги, то с = 1 (параллельные опыты планируют только в центре плана). В сельском хозяйстве, где опыты очень длительные, рекомендуется принимать условное число повторений с равное 4 или 5. Для схемы 3´ 3 величина коэффициента d(х) зависит от значений факторов х₁, х₂, и его наибольшее значение достигает d_max= 7.25. Подсчитываем необходимую повторность опыта: m ³ 7.25с/9 = 0.8с. Округляя, получим m = 1 при с = 1 и m = 4 при с = 5.

Для составления схемы ПФЭ 3´ 3´ 3, или 3³, необходимо схему 3´ 3 повторить на нижнем, среднем и верхнем уровнях третьего фактора х₃. Изображение схемы в факторном пространстве х₁х₂х₃ становится уже достаточно громоздким, поэтому кроме аксонометрического рисунка полезно иметь сечения куба по различным уровням какого-либо фактора, например, х₃ (см. рис. 7).

Для схемы 3´ 3´ 3 при d_А= 13,75 получаем необходимую повторность опыта и общее число опытов с учетом повторности nm = 27× (2 ¸  3) = 54 ¸  81. Для схемы 3⁴ (четыре фактора, три уровня варьирования) аналогичным образом получено d_max = 22,5; m = 1¸ 2; nm = 81 ¸ 162.3.

3. ПФЭ типа 4^k – полные факторные схемы при четырех уровнях варьирования k факторов. Эти схемы являются схемами третьего порядка, т.е. допускают вычисление параметров полной кубичной модели. Число опытов схемы равно n = 4^k.

Количество опытов в полном факторном эксперименте значительно превосходит число определяемых коэффициентов линейной модели. Другими словами, полный факторный эксперимент обладает некоторой избыточностью опытов. Было бы заманчивым сократить их число за счет той информации, которая не очень существенна при построении линейных моделей. При этом нужно стремиться к тому, чтобы матрица планирования не лишилась бы своих оптимальных свойств. Как метод сокращения числа опытов, особенно актуальный при количестве переменных больше трех, Д. Финни (1970) в 1945 г. предложил дробные реплики от ПФЭ типа 2^k.

Рассмотрим разложение на две полуреплики ПФЭ 2³, который позволяет определить 8 эффектов: (, b₁, b₂, b₃, b₁₂, b₁₃, b₂₃, b₁₂₃). Из этих эффектов самым бесполезным является тройное взаимодействие факторов х₁х₂х₃ , поскольку оно относится к наименее значимой группе кубичных эффектов. Из полного опыта 2³ отберем в дробную реплику те варианты, для которых х₁х₂х₃ = 1. Для этого выписываем ПФЭ 2² и дописываем значения третьего фактора как произведение первых двух х₃ = х₁х₂ или х₃ = -х₁х₂ (см. табл. 5).

Полуреплики ПФЭ 2³

1-я полуреплика 2^3–1 (х₁х₂х₃=+1) 2-я полуреплика 2^3–1 (х₁х₂х₃= -1)

Обе полуреплики абсолютно равноценны. На рис. 8 эти схемы изображены в факторном пространстве {х₁ , х₂ , х₃}. Оказывается, точки плана образуют правильные симплексы. Напомним, что для трeх факторов правильный симплекс - это 3 точки в вершинах равностороннего треугольника, для четырeх факторов - это 4 точки в вершинах равностороннего тетраэдра и т.д.

Таким образом, дробные реплики представляют собой 1/2, 1/4 или 1/8 часть ПФЭ типа латинских и греко-латинских квадратов, латинских и греко-латинских кубов и гиперкубов (при размерности, большей 3). Напомним, что латинским квадратом называется квадратная таблица, такая, что каждый из n элементов (букв или чисел) встречается в точности один раз в каждой строке и в каждом столбце. В частности, из трех элементов образуется латинский квадрат 3x3

А В С

В С А

C A B

Считается, что одним из первых исследовал свойства латинских квадратов Л. Эйлер, который предложил в 1779 г. задачу о 36-ти офицерах как некий математический курьез. Он поставил вопрос, можно ли выбрать из 36 офицеров шести рангов и шести полков по одному офицеру каждого ранга от каждого полка и расположить их в каре так, чтобы в каждом ряду и в каждой шеренге было бы по одному офицеру каждого ранга и по одному от каждого полка. Задача эквивалентна построению парных ортогональных квадратов 6´ 6. Нетрудно заметить, что обе схемы на рис. 8 являются латинскими квадратами размера 2´ 2 (или латинские квадраты 1 и 2 на рис 9).

При построении дробных реплик используют следующее общее правило: для того, чтобы сократить число опытов при введении в планирование нового фактора, нужно поместить этот фактор в вектор-столбец матрицы, принадлежащий взаимодействию, которым можно пренебречь.

Дробные реплики находят широкое применение при получении линейных моделей, причем целесообразность их применения возрастает с ростом количества факторов. Реплики, которые используются для сокращения числа опытов в 2^m раз, где m = 1, 2, 3, 4..., называются регулярными. Они пользуются большой популярностью, так как позволяют производить расчет коэффициентов уравнения так же просто, как и в случае полного факторного эксперимента.

В табл. 5 мы рассмотрели регулярную 1/2-реплику от ПФЭ 2³, требующую 4 опыта. Таким же образом можно последовательно получить реплики различной дробности: 1/2-реплику от ПФЭ 2⁴, 1/4-реплику от ПФЭ 2⁵, 1/8-реплику от ПФЭ 2⁶ и 1/16-реплику от ПФЭ 2⁷. Во всех этих случаях экспериментатор ставит уже 8 опытов, предельное число факторов для которых - 7. В этом случае оценивается восемь коэффициентов линейного уравнения у = b₀ + b₁x₁ + b₂x₂ + b₃x₃ + b₄x₄ + b₅x₅ + b₆x₆ + b₇x₇ и число степеней свободы становится равным нулю.

С ростом числа факторов увеличивается дробность реплик и усложняется система смешивания факторов. При числе факторов от 8 до 15 приходится ставить 16 опытов. С ростом числа факторов дробность реплик растет следующим образом: 1/32-реплика от ПФЭ 2⁹, 1/64-реплика от ПФЭ 2¹⁰, 1/128-реплика от ПФЭ 2¹¹, 1/256-реплика от ПФЭ 2¹², 1/512-реплика от ПФЭ 2¹³, 1/1024-реплика от ПФЭ 2¹⁴ и 1/2048-реплика от ПФЭ 2¹⁵. Предельное число факторов для 16 опытов - 15. План с предельным числом факторов для данного числа опытов и заданной модели называется насыщенным. В этом случае число опытов равно числу оцениваемых коэффициентов. Можно далее рассматривать построение дробных планов для числа факторов от 16 до 31 (при этом необходимо ставить 32 опыта) и более. Однако для решения столь сложных задач рекомендуется применять методы отбора факторов, например, метод случайного баланса (Налимов, Чернова, 1965).

При применении дробных реплик линейные эффекты смешиваются с эффектами взаимодействий. Эффективность применения дробных реплик зависит как от удачного выбора системы такого смешивания, так и от умелой стратегии экспериментирования в случае значимости некоторых взаимодействий. Априорные сведения о взаимодействиях могут оказать большую услугу экспериментатору.

Чтобы определить систему смешивания, нужно знать определяющие контрасты и генерирующие соотношения. Определяющим контрастом называется символическое обозначение произведения любых столбцов, равное +1 или -1. Чтобы определить, какие взаимодействия смешаны с каждым линейным эффектом, нужно умножить определяющий контраст на этот линейный эффект и получить генерирующие соотношения. Например, если имеются следующие генерирующие соотношения: x₁ = x₂x₃, x₂ = x₁x₃ и x₃ = x₁x₂, то определяющий контраст будет 1 = x₁x₂x₃. Реплики, у которых линейные эффекты смешаны с взаимодействиями наивысшего порядка, являются наиболее эффективными, так как обладают наибольшей разрешающей способностью. Для освобождения линейных эффектов от взаимодействий первого порядка можно использовать метод "перевала". Смысл метода - в добавлении новой реплики, все знаки которой противоположны исходной реплике.

Метод Д. Финни по сокращению числа опытов может быть распространен также на случай, когда число уровней кратно степени 2 (т.е. при составлении планов ДФЭ 4^{k- р}, ДФЭ 8^k–р и т.д.) Практически интересны только ДФЭ типа 4^k–р (k факторов, р связей, 4 уровня). Каждый фактор х_i , принимающей 4 уровня, представляем в виде двух квазифакторов a _i , b _i , принимающих только 2 уровня (± 1). Тогда ПФЭ 4^k будет эквивалентен ПФЭ 2^2k. После составления ДФЭ 2^2k–2р делаем обратный переход от квазифакторов к исходным факторам по формуле х_i = 2a _i + b _i .

Составим для примера ДФЭ 4^3–1, т.е. 3 фактора, 1 связь, 4 уровня. Число опытов равно n = 4^3–1 = 16, т.е. четверть вариантов полной схемы. После перехода к квазифакторам a _i , b _i  этот план будет полностью эквивалентен ДФЭ 2^6–2, т.е. 6 факторов, 2 связи, 2 уровня. Выбираем связи a _{1a 2a 3} = 1 и b _{1b 2b 3} = 1. В табл. 6 выписаны варианты ПФЭ 2⁴ a _{1a 2b 1b 2} и затем по этим данным вычислены значения a ₃ = a _{1a 2} и b ₃ = b _{1b 2} . Относительно a _{1a 2a 3b 1b 2b 3}  получается схема ДФЭ 2^6–2 . В последних колонках табл. 6 эта схема преобразована в ДФЭ 4^3–1.

Составление ДФЭ 2^6–2 и ДФЭ 4^3-1

После составления ДФЭ 2^6–2 переходим от квазифакторов a  , b к факторам х или w согласно табл. 7, и получаем искомую ¼-реплику ДФЭ 4^3–1 . Здесь w = Х/D Х; Х - натуральное значение фактора, D Х - интервал варьирования фактора.

Соответствие между факторами и квазифакторами

Таким образом, дробный факторный эксперимент является эффективным средством снижения трудоемкости проведения исследования при числе факторов больше трех и разном числе уровней их варьирования. Например, при исследовании влияния 15 факторов на двух уровнях можно в 2048 раз сократить число опытов, применяя реплику большой дробности (6 опытов вместо 32 768). Однако дробные реплики составляются не только для сокращения общего числа вариантов полной схемы, но и для ее рандомизации с целью нейтрализовать некоторые источники неоднородностей.

М. Генин

Как обсуждалось выше, наличие различных неоднородностей - типичное явление для любого реального эксперимента. В обычной практике планирования искажающее влияние таких "неуправляемых" факторов пытаются уменьшить, сделать случайным пространственно-временное распределение условий проведения эксперимента. Если многофакторный эксперимент проводится в совершенно случайном порядке так, что исходный материал можно приближенно считать однородным, то влияние источников неоднородностей в большой мере исключается и тем самым уменьшается систематическая ошибка.

Пусть необходимо провести полный факторный эксперимент ПФЭ 2³ (см. рис. 5). Экспериментатор имеет возможность поставить в первый день 4 опыта, а затем через некоторое время еще 4 опыта. Можно ли опыты ставить подряд и в первый день реализовать опыты 1, 2, 3 и 4, а во второй - 5, 6, 7 и 8? В такой последовательности опыты ставить не рекомендуется. Поскольку внешние условия первого дня могут каким-то образом отличаться от последующего, это способствует возникновению некоторой систематической ошибки e . В результате значения выходного параметра у будут сдвинуты на величину e по сравнению с истинными значениями, т.е. оценки эффектов факторов получатся смещенными.

Эксперимент будет проведен более корректно, если последовательности опытов придать случайный порядок. Для этого можно воспользоваться таблицей случайных чисел или применить метод "попугая и морской свинки" (номера опытов записываются на карточках, которые тщательно перемешиваются и затем извлекаются). Такой способ называется "планированием без ограничений на рандомизацию".

Рассмотрим еще один пример, подобный "ротамстедскому опыту" (см. гл. 1). Пусть нужно изучить влияние внесения калийных удобрений К и навоза Н на урожайность картофеля. Каждый из этих факторов варьируется на четырех уровнях. Пусть эксперимент проводится на четырех различных сортах картофеля. Обозначим сорта буквами А, В, С и D.

Совершенно очевидно, что эксперимент нельзя проводить так, как показано в табл. 8 (а) и (б). В подтаблице (а) эффект Н полностью защищен от возможного различия в сортах картофеля, поскольку каждый сорт картофеля встречается по одному разу в каждом столбце. Однако с эффектом сортности полностью смешан эффект внесения удобрений. В подтаблице (б) наблюдается противоположная картина.

Варианты планов ротамстедского опыта с разным уровнем рандомизации

Нужно заготовить 16 карточек, написав на 4 из них А, на других 4 - В и т.д., тщательно размешать и затем вынимать по одной и раскладывать по порядку слева направо по уровням, идя сверху вниз. Результат одной из таких процедур показан в табл. 8 (в). Однако этот метод не является наилучшим, так как для более сложных планов из огромного числа распределения воздействий по экспериментальным единицам очень трудно найти оптимальный вариант. Более эффективным средством в борьбе с влиянием источников неоднородностей является планирование с ограничением на рандомизацию.

Задача состоит в разложении множество реализаций полного опыта на такие блоки, чтобы внутри каждого из них было возможно проведение испытаний для всех уровней основных факторов в однородных условиях. Поскольку истинная рандомизация проводится только внутри блоков, поэтому говорят, что блоки представляют собой ограничение на рандомизацию. Ошибки, возникающие вследствие неоднородности в условиях проведения эксперимента, здесь представляются как межблоковые эффекты, и нужно, чтобы с ними не был смешан ни один из интересующих нас целевых эффектов (линейные, квадратичные эффекты и взаимодействия линейных факторов). Тогда влияние неконтролируемого фактора (например, исходного плодородия участков) можно считать случайным и все оценки параметров модели будут несмещенными.

Предположим, что в общем случае у нас есть a воздействий, эффект которых нужно оценить, и b блоков. Статистическая модель дисперсионного анализа рассматриваемого плана эксперимента имеет вид

y_ij = m + t _i + b _j + e _ij,

где y_ij - экспериментальный результат, полученный при воздействии i -го фактора (i = l, 2, ..., a) на экспериментальные единицы в j-м блоке (j = l, 2, ..., b); m - математическое ожидание общего среднего; t _i - эффект i-го фактора; b _j - эффект j-го блока; e _ij - случайная ошибка, распределенная по нормальному закону.

В символическом виде разбиение общей суммы квадратов отклонений y_ij от общего среднего значения SS_общ можно записать как

SS_общ = SS_фак + SS_бл + SS_ош.

Поскольку a - число факторов, а b - число блоков, то суммы квадратов средних отклонений для каждого i-го фактора SS_фак и для каждого j-го блока SS_бл от общего обладают a и b степенями свободы соответственно. Число всех наблюдений составляет N = ab, поэтому сумма SS_общ обладает N - 1 степенью свободы. Сумма квадратов SS_ош, обусловленная ошибкой, находится вычитанием SS_ош = SS_общ - SS_фак - SS_бл + SS_ош и имеет (a - 1)(b - 1) степеней свободы.

Пусть нас интересует проверка значимости эффектов воздействия факторов t _i, чему соответствуют гипотезы - нулевая H_o: t ₁ = _{t 2} = … = t _a = 0 и альтернативная H₁: t _i ¹  0 хотя бы для одного i. Тогда для проверки равенства эффектов обработок должна использоваться статистика , подчиняющаяся F-распределению Фишера с (а - 1) и (а - 1)(b - 1) степенями свободы при условии истинности нулевой гипотезы. Критической областью является верхний шлейф F-распределения, и мы отклоняем H_o, если

F_o > Fa _{; a-1, (а-1)(b-1)}.

Мы можем также проверить гипотезу H₀: b _j = 0, воспользовавшись статистикой F_o = SS_бл(b-1)/SS_ош. Эта гипотеза утверждает, что блоки не отличаются друг от друга. Такая проверка часто используется для того, чтобы определить, следует ли проводить группирование в блоки при аналогичных экспериментах в будущем.

Иногда удобнее рассматривать множество блоков как совокупность уровней нового фактора. Однако необходимо учитывать, что межблоковые эффекты часто требуют только исключения, а не оценки. Простейшим примером планирования с исключением влияния двух типов неоднородности (двух блоковых факторов) являются упомянутые выше латинские квадраты, впервые использованные в 30-х годах прошлого века Р. Фишером в сельскохозяйственных экспериментах для преодоления затруднений, возникающих из-за различий в плодородности почв.

Большинство планов основано на стандартных формах латинских квадратов n´ n. С позиций факторного планирования латинский квадрат n´ n можно рассматривать как пример неполного трехфакторного эксперимента. Пусть все три фактора интересуют экспериментатора в равной мере, т.е. все они являются главными и имеют одно и то же число уровней n. Наблюдения проводятся в n² из n³ возможных совокупностей условий, т.е. опытов требуется в n раз меньше, чем при полном факторном эксперименте. В таком контексте латинский квадрат можно рассматривать как 1/n реплику от полного факторного эксперимента n³.

Чтобы использовать латинский квадрат при планировании эксперимента, нужно подвергнуть стандартный квадрат процедуре рандомизации. При этом уровни факторов приписываются случайным образом для столбцов, рядов и латинских букв соответственно. Например, в табл. 8 строки связаны с внесением калийных удобрений столбцы - с внесением навоза, а латинская буква обозначает сорт картофеля. Нетрудно заметить, что для этого эксперимента вместо найденного случайного плана (в) более целесообразным было бы использование латинского квадрата, представленного на рис. 10. Расположение элементов такого квадрата оптимально в том смысле, что каждый элемент встречается один и только один раз в столбце и в строке.

Это свойство латинских квадратов используется для построения рандомизированных планов. Каждый из этих планов представляет собой табличную запись факторного эксперимента типа n², на которую наложен n´ n латинский квадрат, являющийся как бы частью плана. Например, в плане 1 на табл. 9 изучается влияние трех факторов, каждый из которых изменяется на трех уровнях. Два из них образуют факторный эксперимент ФЭ З², уровни третьего фактора - три источника неоднородностей образуют 3´ 3 латинский квадрат. В плане 2 изучается влияние трех факторов на четырех уровнях. Два фактора образуют ФЭ 4², четыре источника неоднородностей расположены по схеме 4´ 4 латинского квадрата. Каким бы ни было нарушающее влияние источников неоднородностей, оно в равной мере скажется при подсчете средних значений по строке и по столбцу.

Варианты планов на основе латинских квадратов

Очевидным ограничением применений латинского квадрата является то, что все факторы должны иметь одно и то же число уровней. Поэтому квадраты размером более чем 10´ 10 практически не применяются. Схема латинского квадрата является трехфакторным планированием и непригодна для числа факторов более трех.

Греко-латинские квадраты (т.е. комбинации двух ортогональных квадратов n´ n) могут использоваться при планировании экспериментов для систематического контроля трех источников мешающей неоднородности, т.е. для группирования в блоки по трем направлениям. Такие планы позволяют исследовать всего при n² наблюдениях четыре фактора (строки, столбцы, латинские и греческие буквы), причем каждый из них на n уровнях. Греко-латинские квадраты существуют для всех n ³ 3, кроме n = 6.

Планы, основанные на латинских и (гипер-) греко-латинских квадратах называются рандомизированными полноблочными планами. Слово "полнота" означает здесь, что каждый блок содержит все возможные варианты воздействий. Существует довольно большое число латинских квадратов заданного размера, поэтому их можно пронумеровать и выбрать один из них случайным образом. Обычно для этого используются таблицы латинских квадратов [например, в монографии Р. Фишера и Ф. Йетса (Fisher, Yates, 1953)], причем порядок следования строк, столбцов и букв задается произвольно.

В. Шендерович

В терминах дисперсионного анализа латинский квадрат является неполной классификацией с ограничением на рандомизацию. При планировании такого типа изучается влияние трех источников дисперсии: первый источник - строка (фактор А), второй источник - столбец (фактор В) и третий источник - латинская буква (фактор С).

Результаты эксперимента представляются в виде линейной модели:

y_ijk = m + a _i + b _j + g _k + e _ijk,

где y_ijk - экспериментальный результат, полученный с i-м уровнем фактора А, j-м уровнем фактора В и k-м уровнем фактора С; m . - общий эффект во всех опытах (истинное среднее совокупности, из которой получена выборка); a _i - эффект строки (фактора А); b _j - эффект столбца (фактора В); g _k - эффект элемента квадрата - источника неоднородности (фактора С); e _ijk - случайная ошибка в эксперименте.

Главными эффектами являются a _i и b _j. Они защищаются группировкой элементов квадрата. Латинский квадрат позволяет осуществлять двойной контроль дисперсии экспериментальных данных, т.е. контроль эффектов столбцов и строк на отсутствие влияния источников неоднородностей.

При применении латинских квадратов статистический анализ экспериментальных данных существенно опирается на предположение об аддитивности, т.е. высказывается предположение, что эффекты взаимодействия незначимы, и поэтому можно ограничиться только линейной моделью. Это предположение может быть ошибочным, если в действительности имеет место ярко выраженная нелинейность взаимодействия.

Схемы дисперсионного анализа несколько отличаются друг от друга в зависимости от наличия (или отсутствия) повторных опытов. Поэтому рассмотрим две схемы статистического анализа.

1. Подсчитываются итоги по строкам А_i, по столбцам B_j и по латинским буквам С_к. Далее рассчитываются вспомогательные суммы квадратов, перечисленные ниже.

2. - сумма квадратов результатов всех наблюдений

3. ; ; - суммы квадратов итогов по строкам, столбцам и каждой латинской букве соответственно, деленные на размерность квадрата.

4. SS₅ = G²/n²= =G²/N - корректирующий член, равный квадрату общего итога, деленному на общее число ячеек квадрата (т.е. на число опытов).

5. Сумма квадратов для строки, столбца и каждой латинской буквы соответственно:

SS_a = SS₂ - SS₅ ; SS_b = SS₃ - SS₅ ; SS_c = SS₄ - SS₅ .

6. SS_общ = SS₁ - SS₅ - общая сумма квадратов, которая равна разнице между суммой квадратов всех наблюдений и корректирующим членом.

7. SS_ош = SS_общ - (SS_a + SS_b + SS_c) - остаточная сумма квадратов, служащая для оценки ошибки эксперимента. Остаточная дисперсия является суммарной величиной и складывается из дисперсий, обусловленных ошибкой опыта и взаимодействий, если таковые имеются.

Результаты расчета вносятся в таблицу дисперсионного анализа (табл. 10).

Дисперсионный анализ планов латинского квадрата (без повторения опытов)

Значимость линейных эффектов проверяется по критерию Фишера, как показано выше. Если результаты дисперсионного анализа указывают на значимость линейных эффектов, т.е. значимы различия математических ожиданий по средним, то возникает вопрос, какие именно математические ожидания различны? Для проверки различия математических ожиданий применяются параметрические и непараметрические критерии: t-критерий, F-критерий, ранговый критерий Дункана и др.

Рассмотрим n´ n латинский квадрат, в каждой ячейке которого имеется m наблюдений. Допустим, что двухфакторные и трехфакторные взаимодействия несущественны по сравнению с главными эффектами. Тогда модель эксперимента можно представить в виде

y_ijkm = m + a _i + b _j + g _k + res + e _ijkm,

где res (от англ. residual - остаток) - это член, включающий все источники дисперсии, которые не предсказаны линейной моделью, а остальные обозначения те же, что и в модели схемы 1.

Если в действительности парные или прочие взаимодействия незначимы, то остаточная дисперсия существенно не отличается от дисперсии, обусловленной экспериментальной ошибкой, что проверяется по F-критерию: F = (MS_ош)/(MS_O). Это позволяет судить, соответствуют ли экспериментальные данные выбранной модели.

Рассмотрим технику вычислений в процессе статистического анализа на гипотетическом примере. Изучалась воздействие добавок трех различных биогенных элементов (три категории фактора В) на численность трех видов зоопланктона (фактор С). Гидробионты принадлежали сообществам из трех различных биокосмов (фактор А) и из каждого водоема было взято по 4 гидробиологической пробы (m = 4).

Для рандомизированного планирования эксперимента был использован 3´ 3 латинский квадрат, показанный справа в табл. 11, а слева приведены экспериментальные данные. Строки квадрата а₁, а₂ и а₃ соответствуют водоемам, столбцы b₁, b₂ и b₃ - воздействующим поллютантам, а элементы латинского квадрата с₁, с₂, и с₃ - видам зоопланктона. Численность зоопланктона в пробе оценивалась условно в 12-балльной шкале. В ячейке 1 экспериментальных данных приведены зарегистрированные численности гидробионта вида с₃ во всех 4 пробах из биокосма а₂ в условиях воздействия биогенного элемента b₁; в ячейке 2 - 4 значения численностей вида с₁ принадлежали биокосму а₂ при воздействии поллютанта b₃ и т. д.

В правом разделе табл. 11 в каждой ячейке квадрата даны суммы четырех наблюдений, а также итоги по строкам (А_i), итоги по столбцам (B_j) и итоги по латинской букве (С_k).

Дальнейшую вычислительную процедуру представим в виде последовательности шагов (номер шага показан в скобках) подстановки в очевидные формулы:

= 515.78 (1); = 978.00 (2); = 606.17 (3);

= 554.00 (4); = 712.50 (5); = 878.50 (6),

где символ АВС есть сумма четырех численностей в ячейке квадрата. Таким образом:

• сумма квадратов для фактора A SS_a = (3) - (1) = 92.39;
• сумма квадратов для фактора В SS_b = (4) - (1) = 40.22;
• сумма квадратов для фактора С SS_c = (5) - (1) = 198.72.

Остаточная сумма квадратов вычисляется следующим образом. Дисперсия между девятью ячейками квадрата равна SS_м.я = (6) - (1) = 364.72. Этот источник дисперсии представляет совместно все факторные эффекты: главные эффекты и эффекты взаимодействий. Остаточная сумма квадратов получается путем вычитания из всех сумм квадратов главных эффектов:

SS_ош = SS_м.я - (SS_a + SS_b + SS_c) = (6) - (3) - (4) - (5) + 2(l) = 33.39.

Остаток res есть часть дисперсии внутри ячеек, которую нельзя получить путем сложения главных эффектов. Это — мера неадекватности линейной модели. Если не существуют взаимодействия, остаток оценивает ошибку эксперимента. Если же взаимодействия имеют место, остаток включает, в том числе и взаимодействия. Дисперсия внутри ячеек получается SS_в.я. = = (2) - (6) = 99.50. Общие итоги дисперсионного анализа показаны в табл. 12.

Общие результаты дисперсионного анализа (исходные данные из табл. 10)

При проверке гипотезы о незначимости всех взаимодействий используется критерий Фишера:

Для 5% уровня значимости и степеней свободы f₁ = 2 и f₂ = 27 критическое значение F- критерия равно 3.35. Из этого следует, что экспериментальные данные не подтверждают гипотезу о незначимости эффектов взаимодействий.

Требование аддитивности на многих реальных объектах не выполняется. Поэтому статистические выводы могут оказаться несправедливыми, а адекватность планирования по латинскому квадрату сомнительна: главные эффекты смешиваются с их взаимодействиями.

Можно допустить, что фактор А (водоем) не дает взаимодействий с другими факторами. Следовательно, два главных эффекта (В и С) оцениваются самостоятельно, так как эффекты их взаимодействия с фактором А можно считать незначимыми на основании логических заключений. Значимым остается эффект взаимодействия ВС - взаимодействие между биогенным компонентом и видом зоопланктона. Если пренебречь фактором A как случайным и проанализировать экспериментальные данные по схеме факторного эксперимента ФЭ З², то можно вычленить сумму квадратов и число степеней свободы для взаимодействия ВС.

Следовательно, выдвижение дополнительных гипотез помогает эффективно использовать данные планирования по латинскому квадрату в случае, когда гипотеза о незначимости всех эффектов взаимодействий не подтверждается.

К. Станиславский

В предыдущих четырех разделах мы приоткрыли маленькую частичку огромного айсберга под названием "Методы планирования эксперимента". Как справедливо заметил Н. Бейли (1962): “...планирование эксперимента - есть схема для анализа результатов на основе априорной информации”. В зависимости от уровня априорной информации экспериментатор выбирает определенную модель планирования с целью подтвердить или отвергнуть ту или иную гипотезу. Причем чем выше уровень и объем имеющихся знаний, тем более тонкие свойства объекта можно выявить в результате эксперимента и тем более изощренными становятся применяемые планы.

Создание единой системы классификации экспериментальных планов представляет собой сложную задачу. Например, Ю.П. Адлер с соавторами (1976) предлагает следующую предварительную классификацию по задачам исследования и методам планирования эксперимента, используемых для их решения: 1) планы дисперсионного анализа; 2) планы многофакторного анализа; 3) планы для изучения поверхности отклика; 4) планы отсеивающего эксперимента; 5) планы для экспериментирования в условиях дрейфа; 6) планы для динамических задач планирования; 7) планы для изучения механизма явлений; 8) планы для построения диаграмм состав - свойство и состав - состояние.

Математические модели эксперимента тесно связаны с такими математическими дисциплинами как теория вероятности и прикладная статистика. Их отношение к "действительному миру опыта" может быть определено схемой А.Н. Колмогорова, которая включает, в частности, задание некоторого комплекса s -условий, допускающего неограниченное число повторений, и изучение определенного круга событий, которые могут наступать в результате осуществления этих условий. Выбор экспериментатором оптимальных условий s _опт и является планированием эксперимента. Поэтому по методу анализа и виду математической модели, используемой при представлении результатов многофакторного эксперимента, все перечисленные классы планов можно объединить в три группы: 1) планы дисперсионного анализа; 2) планы регрессионного анализа; 3) планы ковариационного анализа.

Следуя Г. Шеффе (1980), основные предпосылки указанных методов анализа при представлении результатов многофакторного эксперимента из N опытов можно записать как выражения для функций статистического распределения вектора отклика модели y^{(N´ 1)}, имеющих следующий вид:

y^{(N´ 1) ~} N (x^{тb p´ 1}; s ²I) - в случае дисперсионного анализа;

y^{(N´ 1) ~} N (z^{тg k´ 1}; s ²I) - в случае регрессионного анализа;

y^{(N´ 1) ~} N (x^{тb p´ 1} + z^{тg k´ 1}; s ²I) - в случае ковариационного анализа.

Здесь x^т - транспонированная матрица независимых переменных x_ij, которые могут быть как количественными, так и качественными; z^т - транспонированная матрица количественных переменных z_ij, пробегающих непрерывный ряд значений; b ^{p´ 1} - вектор эффектов (главные эффекты, эффекты взаимодействия, эффекты блоков, эффекты порядка варьирования факторов, остаточные эффекты и др.), подлежащих оценке результатам эксперимента ковариационного анализа; g ^{k´ 1} - вектор коэффициентов регрессии; s ² -дисперсия ошибки эксперимента; I - единичная матрица; знак “~ ” (тильда) читается "имеет распределение"; N - обозначение нормального распределения.

В алгебраической форме наиболее общий вид уравнение модели имеет для ковариационного анализа: ,

где e - случайная ошибка, относительно которой обычно постулируют некоррелированность и однородность. Модель для дисперсионного анализа включает только составляющую, основанную на x_ij, а для регрессионного анализа – на z_ij. Задача любого вида анализа заключается в установлении существенности эффектов исследуемых переменных на фоне ошибки e .

1. Планы дисперсионного анализа основаны на разложении суммарной дисперсии на составляющие. В полных классификациях дисперсионного анализа реализуются все возможные совокупности условий, задаваемые выбранной схемой эксперимента. Они применяются для исследования сравнительно небольшого числа факторов (обычно не более 5), так как полный перебор вариантов требует постановки большого числа опытов. Например, при варьировании пяти факторов на 3 уровнях необходимо поставить 243 опыта. Поэтому чаще используются неполные классификации, где ограничивается возможный набор совокупности условий проведения опыта.

Сокращение перебора вариантов может производиться случайным образом (т.е. без ограничения на рандомизацию) или в соответствии с некоторыми строгими правилами (т.е. с ограничением на рандомизацию). Среди неполных классификаций дисперсионного анализа с ограничением на рандомизацию наиболее популярными в планировании эксперимента являются неполноблочные планы (блок-схемы) и подробно описанные выше латинские планы.

В случае неполноблочных планов желательно не просто разбросать уровни внутри блоков, а постараться расположить их таким образом, чтобы, несмотря на неизбежную потерю независимости, получить достаточную информацию об основных эффектах. Каждое множество блоков можно рассматривать как дополнительный фактор, поэтому теорию неполноблочных планов можно представить как частный случай многофакторных (главным образом двухфакторных) планов.

Наиболее полно развита теория сбалансированных блок-схем (BIB-схем, или Balanced Incomplete Block). Сбалансированность схемы предполагает выполнение следующих условий: 1) каждый блок содержит одинаковое число элементов; 2) каждый элемент принадлежит одному и тому же числу блоков; 3) для каждой неупорядоченной пары различных элементов число блоков, содержащих эту пару, равно l . Сбалансированное неполноблочное планирование может быть найдено для любого числа элементов и любого размера блока, однако большинство ВIB-схем не представляет интереса для планирования эксперимента, так как перечисленные условия труднодостижимы. Не столь жесткие условия сформулированы для частично сбалансированных планов (PBIB-схем, или Partially Balanced Imcomplete Block).

Цепные блок-схемы являются специальным видом блок-схем, построенных таким образом, что пара элементов в двух соседних блоках одинакова и является связующим звеном. Цепные блок-схемы целесообразно применять в следующих ситуациях: 1) размер блока ограничен и число элементов значительно превышает этот объем; 2) сравнение элементов внутри блоков проводится с такой точностью, что достаточно одного или двух повторений; 3) все элементы можно разбить на две группы.

Специфическим типом неполноблочных планов являются решетчатые планы. Они могут быть полностью или частично сбалансированы и иметь форму квадрата, прямоугольника или куба. Так, например, план в форме квадрата может быть сбалансирован по одному фактору. В этом случае он имеет одно ограничение и носит название квадратной решетки. Но план в форме квадрата может быть сбалансирован и по двум факторам. Тогда он имеет два ограничения и называется решетчатым квадратом.

К латинским планам относятся латинские и гипер-греко-латинские квадраты, кубы, прямоугольники, параллелепипеды, а также сложные планы, построенные на базе латинских планов. Латинские прямоугольники, к одной из разновидностей которых относятся квадраты Юдена, можно построить вычеркиванием определенных строк или столбцов латинских квадратов, поэтому они еще называются неполными латинскими квадратами. Они имеют "двойное подчинение": по методу построения они связаны с латинскими квадратами по свойствам и по методам статистического анализа они близки к блок-схемам. Разноуровневый план, у которого все факторы имеют n уровней, а один фактор (n - r) уровней, называется латинским параллелепипедом.

Планы, построенные путем совмещения латинских квадратов или прямоугольников с факторными экспериментами типа 2ⁿ, называются сложными совмещенными планами. Сложные планы пригодны для линейных моделей, включающих группу количественных факторов на двух уровнях и группу качественных факторов на числе уровней m > 2. Сложные планы позволяют: 1) варьировать количественные факторы только на двух уровнях, что является достаточным для получения линейной зависимости, когда справедлива гипотеза об отсутствии взаимодействий; 2) исключить нарушающее влияние качественных факторов при подсчете линейных эффектов количественных факторов; 3) совершить движение по градиенту для количественных факторов; 4) построить оптимальный перебор комбинаций уровней качественных факторов; 5) не превысить число опытов по сравнению с факторными планами типа 2ⁿ.

2. Планы многофакторного анализа (ПМА) используются для оценки линейных эффектов и эффектов взаимодействий многих факторов, варьируемых на одинаковом (симметричные планы) или неодинаковом (несимметричные планы) числе уровней. Описанные выше полный факторный эксперимент и его дробные реплики являются основой и "классикой жанра" таких планов. Общее уравнение математической модели, представляющей результаты эксперимента по планам ПМА, имеет вид

В классе ПМА различаются следующие планы:

• симметричные двухуровневые и многоуровневые планы типа 2^к, 3^к , 4^к , …, m^к в которых каждый фактор варьируется на 2, 3, 4, … или m уровнях. Если часть эффектов (обычно это взаимодействия высших порядков) в модели отсутствует, то используют дробные факторные планы или дробные реплики, представляющие определенную часть полного эксперимента типа m^к;
• многоуровневые несимметричные планы, в которых факторы варьируются на различных уровнях, строятся различными способами: а) комбинированием полных и дробных планов; б) совмещением факторных планов типа 2^к с латинскими квадратами, прямоугольниками, кубами; в) комбинированными методами на основе PBIB- и BIB-схем; г) методом теории конечных полей; д) методом преобразования симметричных планов в соответствующие несимметричные.

К этому же классу можно отнести также планы для оценки взаимодействий факторов, эффекта последовательности воздействия факторов, остаточных эффектов, перекрестные (cross-over) планы, планы с группировкой и планы с расщепленными делянками, которые обычно рассматриваются в группе планов дисперсионного анализа.

3. Планы для изучения поверхности отклика применяются для детального изучения области оптимума и участков поверхности отклика со значительной кривизной, где линейная модель становится неадекватной. Обычно используют планы 2-го и реже 3-го порядков, для математического описания которых бывает достаточно полинома, соответственно, 2-го и 3-го порядка. Планы 2-го порядка позволяют получить математическое описание в виде полной квадратичной модели, содержащей, кроме основных эффектов b _j, все парные взаимодействия b _jj и квадратичные эффекты b _ju:

Композиционные планы 2-го порядка получают путем добавления 2к "звездных точек" типа {± a , 0, ..., 0}, {0, ± a , ..., 0} … и т.д. и некоторого числа центральных точек n₀ к "ядру", образованному ПЭФ. Выбор величины плеча a и числа точек n₀ определяется критерием оптимальности (ортогональность, ротатабельность). При построении ортогональных и ротатабельных центральных композиционных планов (ОЦКП, РЦКП) в качестве ядра используют минимально возможные регулярные реплики ДФЭ 2^k-p, которые обеспечивают независимую раздельную оценку всех основных эффектов и эффектов взаимодействия. В практике сельскохозяйственного эксперимента широкое применение нашли композиционные схемы Бокса (Егоршин, 1979).

Если известно априори, что часть эффектов в модели отсутствует, то используют планы Хартли, строящиеся на основе минимальных регулярных реплик 2^k-p. Планы Хартли более экономны, чем ОЦКП и РЦКП, и рекомендуются при построении интерполяционных моделей типа квадратичного полинома для объектов с малым уровнем шумов. Для этих же целей можно использовать композиционные планы Вейстлейка с еще меньшим числом точек, построенные на основе минимально возможных нерегулярных реплик.

Некомпозиционные планы применяются при наличии априорной информации о существенности кривизны поверхности отклика, позволяющей начинать эксперимент сразу с реализации плана второго порядка. К их числу относятся планы типа неполного факторного эксперимента ФЭ 3^k, симплексно-суммируемые планы и прочие.

4. Планы отсеивающего эксперимента используются на стадии предварительных исследований для выделения существенных эффектов из большого количества варьируемых факторов. Эти планы также используются при решении задач планирования в условиях неоднородностей дискретного типа, источниками которых могут быть, например, разные регионы сбора данных, разные установки, исполнители, способы обработки проб и т.д. К ним прибегают и при исследовании объектов с большим количеством качественных факторов, когда необходимо построить наиболее экономные схемы планирования, позволяющие осуществить неполный перебор комбинаций качественных и количественных переменных.

В этом классе различают следующие планы.

• Насыщенные планы Плакетта и Бермана, представляющие собой двухуровневые планы, образованные методом циклических сдвигов. Число опытов в планах равно числу исследуемых эффектов.
• Сверхнасыщенные планы случайного баланса, которые в зависимости от числа уровней варьирования могут быть двух- и многоуровневыми. По методу построения эти планы могут быть образованы случайным образом (например, из строк ПФЭ 2^k с помощью таблиц случайных чисел). Систематически отобранные планы обеспечивают минимальные корреляции между столбцами плана (планы Бута и Кокса и др.). При случайном балансе результаты эксперимента представляются в виде модели

где р - число значимых эффектов, l - р - число отсеиваемых незначимых факторов; e - случайная ошибка; N < l (при p < N) - число опытов плана.

• Планы последовательного отсеивания. При последовательном отсеивании, используемом, в отличие от двух вышеописанных типов планов, для задач большой размерности (число факторов до 100 и выше), все факторы на основе априорной информации делятся на группы, каждая из которых рассматривается далее как отдельный комплексный фактор. Эти группы - комплексные факторы, которые содержат только незначимые переменные, исключаются из рассмотрения после первого цикла опытов (первой проверки). Оставшиеся факторы вновь делятся на группы для проверки, и цикл опытов повторяется. Такая процедура проводится до выявления всех значимых эффектов. В процессе отсеивания комбинирование и разделение переменных по группам проводится с помощью комбинаторных планов типа BIB-PBIB-схем, латинских квадратов и др. После каждого цикла опытов получается новая информация, позволяющая выбрать оптимальные планы для реализации очередного цикла.

5. Планы для экспериментирования в условиях дрейфа. Выше обсуждались неоднородности типа неуправляемого дрейфа, характеризующего непрерывное изменение свойств объекта во времени или по какой-либо другой координате. Действие таких неуправляемых факторов выражается, чаще всего, в виде упорядоченного изменения выходных свойств объекта, например, аддитивного смещения поверхности отклика y = f(x₁, x₂, ..., х_к) без ее деформации. В этом случае сама функция дрейфа имеет достаточно "плавный" характер и может быть представлена полиномом невысокой степени или другой "гладкой" функцией (например, экспонентой, логарифмической зависимостью). Зная характер дрейфа, можно реализовать план, элиминирующий его влияние на исследуемые эффекты, а также оценить эффекты дрейфа.

Планы, ортогональные к непрерывному дрейфу, могут быть построены на основе таблиц полиномов Чебышева. Они используются для изучения линейных эффектов управляемых количественных факторов независимо от полиномиального дрейфа любого порядка. При необходимости оценить взаимодействия управляемых факторов используют обычные планы ПФЭ 2^к, отбирая те столбцы планов, которые имеют минимальные корреляции с эффектами дрейфа. К этим же планам относятся планы Кокса, предназначенные для изучения одной количественной или качественной переменной, варьируемой на 2, 3, 4 уровнях в условиях дрейфа 2-го и 3-го порядков.

Комбинированные планы для совместного изучения количественных и качественных переменных в условиях непрерывного полиномиального дрейфа получают соответствующим комбинированием планов Чебышева и планов Кокса. Эти планы составляют основу группы планов ковариационного анализа, под которым понимаются методы, позволяющие совместно оценивать влияние управляемых факторов и факторов, которые невозможно или нелегко контролировать в эксперименте.

В отличие от дисперсионного анализа, при котором все факторы, включая источники неоднородности, рассматриваются как качественные, в ковариационном анализе часть рассматриваемых факторов исследуется качественно, а другая часть — количественно. Основные предпосылки ковариационного анализа сводятся к следующему: а) значения отклика рассматриваются как случайные величины, распределенные нормально с одинаковой дисперсией; б) влияние неуправляемых факторов выражается в виде аддитивного дрейфа, т.е. дрейф не взаимодействует с факторами, варьируемыми в процессе эксперимента. Задача экспериментатора сводится к выбору плана, обеспечивающего получение наилучших оценок эффектов исследуемых факторов, выявленных независимо от эффектов дрейфа.

6. Динамические задачи планирования можно отнести к двум типам: сводимые и несводимые к статистическим (или собственно динамические). В задачах, сводимых к статистическим, выше уровень шумов, поэтому требуется большее число параллельных опытов.

Особенности объектов приводят к использованию преимущественно последовательных планов. К ним относится, прежде всего, эволюционное планирование Бокса (ЭВОП), которое строится на базе регулярных реплик от факторных планов и метода крутого восхождения, но с многократными повторами плана и осторожным движением в сторону градиента. Известны многочисленные модификации ЭВОП, например, вращаемое ЭВОП, позволяющее проводить локацию факторного пространства с расширяющейся сферой обследования. В планах ЭВОП используются линейные модели.

Случай непрерывного варьирования рассмотрен только для одного и двух факторов. Предложены планы Бокса-Дженкинса, основанные на модулировании входных сигналов синусоидами, ортогональными друг к другу. Можно также использовать планы адаптационной оптимизации, основанные, например, на симплекс-процедуре (отражении симплекса относительно грани, противоположной к вершине с наихудшим результатом).

Если неуправляемых переменных несколько и их действие нельзя интерпретировать как дрейф, возникает задача активно-пассивного эксперимента (часть факторов образует план, а часть - измеряется; обработка результатов совместная). Иногда (особенно в очень сложных ситуациях) эффективны рандомизированные последовательности опытов, т.е. планы, основанные на методах случайного поиска.

7. Планы для изучения механизма явлений, в зависимости от уровня априорной информации, ставятся для решения следующих задач:

• Модель известна, константы известны; требуется уточнение (не обязательно всех) констант. Планы такого уточняющего эксперимента можно синтезировать для различных критериев оптимальности (обычно для D-оптимальности), причем как в однократном, так и в последовательном вариантах.
• Модель известна, требуется оценка констант. Это задача интерполяции для известной функции. Выбор критерия оптимальности обеспечивает синтез плана.
• Известно несколько альтернативных моделей. Требуется сравнить их, выбрать, в некотором смысле, наилучшую и оценить ее константы. Такая задача приводит к планированию дискриминирующих экспериментов. План может быть синтезирован аналогично предыдущим случаям. Множества факторов в моделях должны пересекаться, а лучше - совпадать.
• Модель не известна. Этот случай приводит к обычной задаче аппроксимации неизвестной функции полиномом. Используется любой подходящий план. На основании результатов выдвигаются, если удастся, содержательные гипотезы о механизме явлений.

8. Планирование эксперимента на диаграммах состав - свойство. Специфика задачи состоит в том, что естественной координатной системой является барицентрическая сетка на симплексе. Для аппроксимации гладких поверхностей полиномом заданной степени используются симплексные решeтки Шеффе. Если на симплекс наложены линейные ограничения, то необходимо строить план на произвольном выпуклом многограннике. Для этого предложены планы Мак-Лина-Андерсона, которые задаются множеством точек, лежащих в вершинах, серединах рeбер и гранях многогранника. Для включения в план дополнительных факторов применяются симплекс-центроидные планы. Когда существует опасность смещения оценок из-за выбора низкой степени полинома, используются планы Дрейпера-Лоуренса, минимизирующие такое смещение.

Настоящий обзор является далеко не исчерпывающим. В каталоге планов МГУ (Голикова и др., 1974) рассмотрены также следующие планы: Коно, насыщенный точный, D-оптимальный, несимметричный квази-D-оптимальный, насыщенный Рехтшафнера, композиционный по отношению к планам главных эффектов, схемы Бокса-Бенкина, насыщенный симплекс-суммируемый, минимаксный для проверки неадекватности линейной модели и многие другие. Примеры постановки оптимального и экономного полевого эксперимента можно найти в методических указаниях “Проведение многофакторных опытов…" (1976). Оптимальные пространственные размещения описаны, например, в недавно вышедшей книге О.О. Егоршина и М.В. Лисового (2005).

Кроме представленных выше каталогов планов и методик их применения, основные литературные источники по математическому планированию эксперимента, которые мы бы рекомендовали для изучения, можно сгруппировать по двум направлениям. Первое представлено популярными и общими методическими публикациями В.В. Налимова (1960, 1971), В.В. Налимова и Н.А. Черновой (1965), Ю.П. Адлера (1969, 1978), Ю.П. Адлера и Ю.В. Грановского (1977), Ю.П. Адлера с соавторами (1976), E.E. Марковой и A.H. Лисенкова (1973, 1979), Д. Финни (1970), Д.К. Монтгомери (1980), H. Джонсона и Ф. Лиона (1980, 1981), М. Кендалла и А. Стьюарта (1976). Без прочтения этих трудов приступать к экспериментам - всe равно, что садиться за руль автомобиля без водительских прав. Перечисленные книги написаны настолько умно и понятно, что читаются "на одном дыхании". Далеко не исторический интерес имеют опубликованная в России работа Р. Фишера (1958) и его основной труд "The Design of Experiments", выдержавший за рубежом 9 изданий (1971).

Вторая группа работ рекомендуется для более углубленного изучения математических и методических аспектов теории и практики планирования эксперимента. К таковым можно отнести книги В.З. Бродского (1976), A.H. Лисенкова (1979), В.В. Налимова и T.И. Голиковой (1981), В.В. Фeдорова (1971), В.Г. Горского и Ю.П. Адлера (1974) и многие другие. Подробные литературные обзоры и аннотированные указатели представлены Ю.П. Адлером и Ю.В. Грановским (1972), В.П. Шлыковой (1976).

Дальше

Назад

Конец

Список

На главную