Дальше К следующему разделу Назад К предыдующему разделу Начало К началу разделу Конец К концу разделу Список К оглавлению

5.2. Задача об однородности выборок: однофакторный дисперсионный анализ

Формулировка задачи

Пусть имеется выборка из n значений X1, X2,…,Xn некоторого измеренного количественного гидробиологического показателя, который будем называть откликом. Каждому значению отклика поставлен в соответствие некоторый качественный признак (фактор), на основании которого общую выборку можно сгруппировать в частные независимые случайные выборки: если фактор имеет k уровней , то при каждом уровне фактора, j = 1, ..., k, имеется измерений. Необходимо:

В рамках этой задачи изучается влияние, которое оказывает на количественный результат измерения тот или иной фактор, который имеет принципиально нечисловую природу и измерен в шкале наименований ("левый берег", "правый берег", "русло"), либо в порядковой шкале (месяцы или годы отбора проб).

Опыт применения статистики показывает, что условия формирования выборочных совокупностей сказываются, в первую очередь, на изменении положения центра распределения измеряемой характеристики на числовой оси – т.е. сдвиг медианы или среднего значения. При больших различиях в условиях отбора проб наряду с дрейфом центра распределения изменяется и его разброс, т.е. дисперсия. Масштаб и форма распределения обычно остаются практически неизменными. Поэтому задача о степени однородности измеренной случайной величины обычно сводится к оценке статистической значимости различия между средними двух (или нескольких) групп.

В дисперсионном анализе ANOVA (англ. Analysis of variance), фундаментальная концепция которого была предложена Р. Фишером в 1920 г., процедура сравнения средних основывается на разложении суммы квадратов выборочной вариации. При этом принимается ряд следующих априорных допущений:

Рекомендуемая литература: [Урбах, 1963; Плохинский, 1970, 1982; Закс, 1976; Джонсон, Лион, 1980, 1981; Любищев, 1986; Дрейпер, Смит, 1986, 1987].

Математический лист

Пусть измеряемая величина x есть результат действия фактора А и некоторой случайной составляющей e , от фактора не зависящей и отражающей внутреннюю изменчивость наблюдений: .

Примем следующие предположения:

i = 1, ..., nj , (5.21)

где – неслучайные неизвестные величины, определяющие влияние каждой категории фактора j , j = 1,2,…k. Если влияние фактора отсутствует, то все равны между собой;

Основное соотношение дисперсионного анализа можно записать как разложение общей или "полной" суммы квадратов отклонений (Q) отдельных наблюдений от общей средней на две составляющие:

Q = QA + Qe ,(5.22)

где QA – вариабельность за счет влияния исследуемого фактора или сумма квадратов отклонений "между группами";

Qe – остаточное рассеивание, обусловленное случайными факторами, или сумма квадратов отклонений "внутри групп".

Долю объясненной суммы квадратов в полной вариации отклика, рекомендованную для биологических исследований Н.А. Плохинским, связывают с корреляционным отношением Пирсона (см. далее разделы 5.4 и 7.2):

h 2A= QA / (QA + Qe).(5.23)

Чем ближе значение h 2A к единице, тем большим принимается влияние группировочного фактора A на результативный признак X. Можно рассчитать корреляционное отношение и для остаточной суммы квадратов

h 2е = Qе / (QA + Qe) ,

тогда очевидно, что h 2A + h 2е = 1. Корреляционные отношения иногда использовать проще, чем суммы квадратов, поскольку они нормированы и не зависят от шкалы измерений. Однако они не могут быть использованы для проверки гипотез, поскольку не включают число степеней свободы.

Проверка нулевой гипотезы.

Пусть имеется k выборок объемами n1, ..., nk, . По каждой из выборок методом наибольшего правдоподобия оценим групповые средние aj и групповые дисперсии s 2j:

, (5.24)

а затем оценим s 2 по всем выборкам:

.(5.25)

Сформулируем гипотезу Н об отсутствии влияния фактора А, которая справедлива, если групповые средние равны между собой: a1 = a2 = ... = ak .

Статистика, рассчитанная по формуле (5.25) несмещенно оценивает общую дисперсию s 2, независимо от того, верна или нет гипотеза H. Другую оценку для s 2 построим, используя только значения групповых средних :

, . (5.26)

Если H верна, то для всех j = 1, 2,…,k.

Из теоремы о совместном распределении оценок среднего и дисперсии нормальной совокупности следует, что статистики (N - k)s 2* и (k - 1)s 2** независимы и распределены как s 2c 2N-k и , соответственно, и потому их отношение

, (5.27)

если гипотеза H верна, имеет F-распределение Фишера, зависящее только от двух степеней свободы (k -1) и (N - k).

Пусть – квантиль уровня () F-распределения с и степенями свободы, где a – выбираемый уровень значимости. Если гипотеза не верна, то s 2** имеет тенденцию к увеличению за счет разброса средних aj, приводящую к тому, что принимает слишком большое значение, превышающее критическое

. (5.28)

В этом случае гипотеза об отсутствии влияния фактора A отклоняется, и следует считать, что среди подмножества внутригрупповых средних a1, a2, …, ak имеются хотя бы два не равных между собой.

Если же (5.28) не выполняется, то это означает, что наблюдения не противоречат гипотезе об отсутствии влияния фактора и условие (5.28) может быть записано иначе:

, (5.29)

где F случайная величина, распределенная по закону Фишера.

Таким образом, влияние фактора признается достоверным, если средняя сумма квадратов отклонений между группами S2А = QА/(k -1) значимо превышает средние квадраты внутри групп S2e = Qe/(N - k).

Оценка влияния фактора

Если гипотеза Но оказалась несовместимой с наблюдениями, есть основания для обсуждения значений параметров a1, a2, …, аj, …, ak , оценками которых являются внутригрупповые средние. Отношение подчиняется распределению Стьюдента с степенями свободы, и если t1-a = – квантиль уровня (1 - a ) этого распределения, то получаем доверительный интервал для aj с уровнем доверия (1 - 2a ):

. (5.30)

Для оценки влияния фактора используют ряд состоятельных статистик, предложенных различными авторами:

; ;(5.31)

;(5.32)

. (5.33)

Аргументы "за" и "против" использования каждого из этих критериев были проанализированы нами ранее [Розенберг, Долотовский, 1988]. Здесь важно подчеркнуть другое – вычисление значений перечисленных статистик, в отличие от статистики Фишера, не дает ответа на главный вопрос: какой альтернативной гипотезе о влиянии показателя следует отдать предпочтение.

С точки зрения обоснованности применения метода дисперсионного анализа в целом (см. исходные допущения метода), наряду с тестами на нормальность распределения выборок, для оценки эффектов вариации наблюдений на разных уровнях факторов целесообразно использовать критериальные статистики проверки однородности групповых дисперсий, такие как критерии Бартлетта и Кохрена:

, (5.34)

где ; ;

, (5.35)

где для обеих формул k – число выборок (k > 2); ni – численность i-й выборки, i = 1,2,…k; si2 – выборочная дисперсия i-й выборки.

При больших объемах выборок М-статистика Бартлетта имеет асимптотическое c 2 распределение с числом степеней свободы (k - 1), а способ расчета критических значений G-статистики Кохрена по аппроксимационным формулам представлен в статистических справочниках. Заметим, однако, что критерии Кохрена и Бартлетта также весьма чувствительны к отклонению от предположения, что нормированные оценки дисперсии у сравниваемых выборок подчиняются распределению c 2.

Проверка гипотез о равенстве групповых средних

Если гипотеза H о равенстве средних отклоняется, то следует определить, по каким именно уровням фактора групповые средние значимо различаются. В своем простейшем варианте эта задача сводится к попарному сравнению средних значений двух произвольных выборок.

Процедуру сравнения двух произвольных выборочных средних a1 и а2, основанных на выборках размерностью n1 и n2 и имеющих оценки дисперсий s21 и s22 соответственно, выполняют с помощью t-статистики, численно равной нормированной разности групповых средних. Известно, что это распределение близко к t-распределению Стьюдента (5.36) с числом степеней свободы n , равным округленному до ближайшего целого выражению (5.36а):

; (5.36) .(5.36а)

Если для вычисленной t-статистики выполняется неравенство:

t > t1-a , n ,(5.37)

где t1-a , n – критическое значение распределения Стьюдента при n степенях свободы, то нулевая гипотеза о равенстве средних отвергается с уровнем значимости a .

Однако простейший метод попарного сравнения групповых средних по Стьюденту не позволяет указать вероятность, с которой одновременно выполняются несколько неравенств типа (5.37), и поэтому считается неполным. Метод множественных сравнений Г. Шеффе позволяет получать совместные доверительные интервалы для контрастов.

Линейным контрастом L называется любая линейная комбинация выборочных средних aj с произвольными коэффициентами с1, с2, …, сk ,

;, (5.38)

вычисленная для k независимых выборок с неизвестными, но равными дисперсиями.

Пусть для некоторого контраста L: оценка среднего – , а оценка дисперсии – . Зафиксируем произвольное число контрастов . Можно показать, что одновременно для всех с вероятностью (1 - a ) выполняются соотношения:

. (5.39)

Неравенства (5.39), использующие критические значения F-распределения, позволяют сделать вывод о достоверности одновременного влияния любых интересующих нас комбинаций уровней факторов.

Вычисления статистики критерия Шеффе при проверке нулевой гипотезы L = L0 производятся по следующей формуле:

, где – средний квадратичный остаток,

N – общая численность, k – число выборок (k > 2); ni – численность i-й выборки, i = 1,2,…k; ai – среднее i-й выборки. Уровень значимости вычисляется на основе функции плотности F-распределения с параметрами (k -1) и N.

Гипотезы о простых линейных контрастах могут быть также проверены с помощью двух других методов: с использованием критерия множественных сравнений Дункана tD и критерия достоверно значимой разности Тьюки tT , которые по своим предпосылкам применения и технике вычислений очень похожи на методику Шеффе. Вычисления этих критериев проводят по следующим формулам при тех же обозначениях , что и tS:

; , (5.40)

а для нахождения p-значений критериев Дункана и Тьюки сформированы таблицы распределений "стьюдентизированного размаха".

Формирование однородных групп средних значений возможно также с использованием LSD-критерия. Для этого упорядочивают k средних значений выборочных групп по их возрастанию и проверяют, больше ли разность D между соседними величинами, чем наименьшая значимая разность (least significant difference, LSD):

. (5.41)

При D < LSD или D (a, b) < LSD(a, b) нет оснований для отклонения нуль-гипотезы Но о равенстве соседних средних значений.

Результаты расчетов

Рассмотрим влияние типа грунта на общие показатели обилия хирономид. На основе данных из базы по малым рекам Самарской области сформируем выборку из численности N экземпляров отдельных видов Chironomidae на м2 и их биомассы В (г/м2). Выполним группировку суммарных значений Ns и Bs для каждой пробы и вычислим дополнительно преобразованные выборки из прологарифмированных значений этих показателей обилия и индекса плотности населения (Ns*Bs)1/2 . Качественные оценки грунтов на дне водоемов в местах отбора проб представим в виде 6 категорий:

    1. грунты преимущественно без растительных остатков (гравий, камни, песок);
    2. заиленный песок;
    3. серые илы и заиленная почва;
    4. илы с почвой и растительными остатками;
    5. глинистая почва;
    6. черный ил и ил с запахом сероводорода.

Выполним проверку нулевой гипотезы об отсутствии влияния типа грунта на общее обилие хирономид, ориентируясь на p-значения, соответствующие вычисленным F-статистикам. Результаты, приведенные в табл. 5.3, свидетельствуют о том, что из всех анализируемых выборок значимые отличия (p-значения меньше 0.05) показателей обилия для различных грунтов имеют место только для ln (Ns). Весьма близка к этому выводу оказалась и выборка ln((Ns*Bs)1/2).

Таблица 5.3

Результаты проверки по критерию Фишера гипотезы о влиянии типа грунтов на обилие Chironomidae

Показатели для анализа

Источник вариации

Сумма квадратов

Степеней свободы

Средние квадраты

F-отношения

p-значения

1.Численность

Ns

Между группами

2.49*108

5

0.49*108

0.41

0.84

Внутри групп

5.3*1010

439

1.2*108

Итого

5.33*1010

444

2. Биомасса Bs

Между группами

59200

5

11840

0.61

0.6914

Внутри групп

8504210

439

19371

Итого

8563400

444

3.ln (Ns)

Между группами

54.7

5

10.9

3.07

0.0099

Внутри групп

1567.5

439

3.57

Итого

1622.2

444

4. ln(Bs)

Между группами

22.96

5

4.59

1.65

0.144

Внутри групп

1218.4

439

2.77

Итого

1241.4

444

5. ln((Ns*Bs)1/2)

Между группами

31

5

6.2

2.16

0.057

Внутри групп

1263

439

2.87

Итого

1294

444

Отличия в основных статистических выводах между параллельными выборками из натуральных и прологарифмированных значений могут быть вполне объяснимы, если вспомнить основное предположение дисперсионного анализа о нормальном характере распределения анализируемых выборок.

Кроме описанных в разделе 5.1 критериев согласия, для проверки нормальности закона распределения часто бывает достаточно визуальной оценки, основанной на удивительной способности человеческого глаза обнаруживать сходство геометрического образа с прямой линией. Для этого используют построение графиков на "нормальной вероятностной бумаге", где на оси абсцисс откладывают значения xi, а на оси ординат – значения функции, обратной интегралу вероятностей Ф(zi) = (xia)/s . В случае нормального распределения полученные точки ложатся на прямую, как это имеет место для прологарифмированных значений и никак не характерно для натуральных значений (см. рис. 5.6)

Рис.5.6. Эмпирические функции распределения общей численности хирономид на нормальной вероятностной бумаге

Как подтверждается результатами, приведенными в табл. 5.3, F-критерий очень неустойчив к отклонению выборок от нормальности (подробнее см. [Lindman, 1974]). Если эксцесс существенно больше 0, что имеет место в случае с натуральными значениями численности и биомассы, то значение статистики F может стать очень маленьким. Нулевая гипотеза при этом не может быть отвергнута, хотя она и не верна. Ситуация обычно меняется на противоположную, если эксцесс меньше 0.

Для проверки другого исходного предположения дисперсионного анализа об однородности групповых дисперсий воспользуемся критериями Кохрена и Бартлетта, представленными в табл. 5.4. Очевидно, что выборки 1 и 2 из натуральных значений показателей обилия не соответствуют требованиям анализа, в то время как для выборок из прологарифмированных значений гипотеза о равенстве групповых дисперсий не отвергается.

Таблица 5.4

Результаты проверки однородности выборочных дисперсий обилия Chironomidae в зависимости от типа грунтов

Выборки для анализа

Тест по методу Кохрена

Тест по методу Бартлетта

G-критерий

Р-значение

М-критерий

Р-значение

1. Численность Ns

0.406

0.0

1.381

0.0

2. Биомасса Bs

0.429

0.0

1.159

0.0

3.ln (Ns)

0.210

0.291

1.008

0.602

4. ln(Bs)

0.206

0.396

1.009

0.538

5. ln((Ns*Bs)1/2)

0.200

0.571

1.010

0.492

Основываясь на этих рассуждениях, всем предпосылкам дисперсионного анализа отвечает вывод о том, что тип грунта оказывает существенное влияние на численность личинок хирономид в реках, но не влияет на их общую биомассу (при представлении показателей обилия в логарифмических шкалах).

Выполним анализ групповых средних, значения которых для каждой категории грунта представлены в табл. 5.5.

Таблица 5.5

Распределение выборочных значений показателей обилия хирономид для различных категорий грунта

Показатели для

анализа

Категория грунта

Общее

среднее

1

2

3

4

5

6

Количество проб

86

99

127

95

23

15

445

Численность Ns

3683

4912

2985

4376

3163

3455

3870

Биомасса Bs

2.274

2.941

1.954

2.333

2.033

2.708

2.346

ln (Ns)

5.923

6.788

6.776

6.812

6.225

6.760

6.593

ln(Bs)

-0.605

-0.141

-0.332

-0.132

-0.515

-1.080

-0.334

ln((Ns*Bs)1/2)

2.659

3.323

3.222

3.340

2.855

2.840

3.129

Более детально параметры семейства сдвиговых распределений представляются на диаграммах размаха типа “прямоугольники и усы” (box-whisker), показанных на рис. 5.7. Вокруг медианы для каждой выборки рисуется прямоугольник, замыкающий 50% наблюдений; среднее значение отмечено знаком “+”, а отрезки, концы которых расположены вне прямоугольника, определяют вариационный размах (но не более 1.5 межквартили с каждой стороны).

Рис 5.7. Диаграммы размаха типа “прямоугольники и усы”

Представленные данные позволяют сделать следующие выводы о тенденциях изменения обилия хирономид в зависимости от типа грунтов (шкалы – логарифмические):

Естественно, что суммарные показатели численности и биомассы хирономид позволяют оценить лишь самые общие тенденции влияния фактора, т.к. на нижних таксономических уровнях поведение различных групп организмов по отношению к типу грунтов будет далеко неоднозначно. Для оценки влияния фактора на различные трофические группы Chironomidae, разделим все 228 встретившихся видов на 6 групп в зависимости от способа и характера питания, сформируем дополнительные выборки из прологарифмированных значений суммарной численности по каждой группе для каждой пробы и выполним однофакторный дисперсионный анализ влияния категории грунта. Полученные результаты представлены в табл. 5.6.

Таблица 5.6

Однофакторный дисперсионный анализ влияния категории грунтов на логарифм численности трофических групп хирономид

Трофические группы

Коли-чество видов

Общее среднее

Частота нулевого класса, %

Дисперсия фактора S2А

Остаточная дисперсия S2е

F-отношения

p-значения

Хищники хвататели

30

3.64

28.1

17.42

6.6

2.64

0.023

Всеядные собиратели + хвататели

4

2.50

50.5

72.39

6.8

10.51

0.0

Детритофаги собиратели

60

4.13

24.7

18.6

7.8

2.38

0.038

Сестонофаги + детритофаги фильтраторы

19

1.35

69.4

2.77

4.87

0.57

0.722

Детритофитофаги собиратели + фильтраторы

14

2.97

43.5

56.62

7.8

7.22

0.0

Фитодетритофаги собиратели

101

2.89

42.9

66.07

7.28

9.08

0.0

При реализации этих расчетов мы столкнулись с фундаментальной проблемой, не решенной за 100 лет количественной гидробиологии: следует ли учитывать в составе выборок нулевые значения, т.е. так называемую "частоту нулевого класса", свойственную по теории статистики любому статистическому распределению. Как видно из табл. 5.6, из 445 проб, в которых встречались хирономиды, виды выделенных трофических групп далеко не обязательно присутствовали в каждой пробе, и исходная анализируемая матрица размерностью 445х6 оказалась заполнена данными примерно наполовину, причем "пустые" клетки можно трактовать и как нули, и как отсутствующие значения.

В.Н. Максимов с соавторами [1999] считают, что “…в действительности, значение численности, равное нулю, совсем не обязательно говорит об отсутствии вида в пробе. При существующих методиках измерения численности вполне вероятно, что ни один экземпляр вида с низким обилием просто не попадает в поле зрения исследователя”. Иными словами, нельзя говорить об отсутствии вида в пробе, а только о чрезвычайно низкой, близкой к нулю удельной численности экземпляров.

К сожалению, такая статистически обоснованная концепция "нулевой" численности для видов, не встретившихся в пробе, приводит к серьезным практическим сложностям. Во-первых, становится неопределенным понятие размера выборки, ибо, если количество проб, в которых встретился некоторый вид всегда счетно и определено, то число проб, в которых он не встретился, сильно зависит от точки зрения экспериментатора (вспомним, например, Александра Ширвиндта, пробующего перечислить роли, которые он не сыграл). Во-вторых, на понятии частоты встречаемости видов основаны индексы, являющиеся общеупотребительными в классической количественной гидробиологии, например, индекс доминирования Палия-Ковнацкого (см. раздел 4.3):

, (5.42)

где M – общее количество серий измерений, mi – количество серий наблюдений, в которых встретился i-й вид, Nik – численность вида i в k-м измерении, Nsk – сумма численностей всех видов в k-м измерении. Если принимается концепция "нулевой" численности, то частота встречаемости mi/M автоматически теряет всякий смысл (поскольку вид встречается всегда, принимая иногда значения Nik ® 0) и, после исключения этого соотношения, индекс доминирования Di гармонично превращается в традиционную вероятность р встретить i-й вид. Вряд ли многие гидробиологи будут с этим согласны.

Тем не менее, нами был избран принцип "значащих нулей" и при логарифмировании шести одинаковых по размеру выборок численностей трофических групп мы использовали прием добавления единичной численности ln(Nik + 1), поскольку логарифм нуля математически не определен. В этих условиях расчета связь численности подгрупп хирономид с категорией грунта проявляется достаточно отчетливо: влияние фактора во всех случаях достоверно, за исключением группы сестоно-детритофагов, для которых влияние грунта незначимо. Из диаграммы сдвига групповых средних на рис. 5.8 можно, например, видеть, что рост численности хирономид на грунтах категории 6 объясняется развитием одной группы – детритофитофагов. В то же время низкая численность организмов на чистых твердых грунтах категории 1 обусловлена, в основном, всеядными собирателями и детритофитофагами. Напомним также, что на численность сестонофагов + детритофагов фильтраторов тип грунта заметного влияния не оказывает.

Рис 5.8. Зависимость средних значений логарифмов численности особей отдельных трофических групп (ось ординат) от категории грунтов

Поскольку результаты в табл. 5.6 свидетельствуют о высокой достоверности наличия факторного эффекта, то может быть выполнен анализ, по каким именно уровням фактора групповые средние значимо различаются. В табл. 5.7 приведена матрица парных сравнений Г. Шеффе, в которой для всех возможных пар категорий грунта {1}…{6} приведены вероятности предположения об отсутствии различий между средними значениями логарифма численности хищников-хватателей семейства Chironomidae. Для пар групп, выделенных жирным шрифтом, не отклоняется гипотеза об отсутствии различий.

Таблица 5.7

Вероятность отсутствия различий групповых средних логарифма численности хищников хватателей на разных категориях грунта, оцененная по методу Шеффе

Категории

{1}

{2}

{3}

{4}

{5}

{6}

Средние групповые

3.193

3.764

3.961

3.949

2.658

2.371

{1}

***

0.809

0.472

0.564

0.977

0.933

{2}

0.809

***

0.997

0.998

0.629

0.574

{3}

0.472

0.997

***

1.000

0.417

0.401

{4}

0.564

0.998

1.000

***

0.458

0.431

{5}

0.977

0.629

0.417

0.458

***

0.999

{6}

0.933

0.574

0.401

0.431

0.999

***

Как любую симметричную матрицу расстояний, таблицу парных сравнений удобно интерпретировать в виде графа пороговой связности. На рис. 5.9 представлен такой граф, узлами которого являются категории грунта, а все связи между узлами соответствуют принятым нулевым гипотезам об отсутствии значимых различий численности хирономид-хищников для различных категорий грунтов с использованием трех различных критериев: Шеффе, Дункана и Тьюки.

Рис 5.9. Граф связности категорий грунтов на основе равенства групповых средних численности хирономид-хищников (ребра графа соответствуют принятию нулевой гипотезы по критериям Шеффе, Тьюки и Дункана)

На графе отчетливо выделяются две характерные группы: грунты с большой численностью хищников (категории 2, 3, 4) и грунты, где эта численность относительно мала (категории 1, 5, 6). Можно также отметить, что выводы с использованием критериев Шеффе и Тьюки дали весьма сходные результаты, в то время как критерий Дункана на нашем исходном материале оказался склонен к сильной недооценке возможных различий между категорированными средними.

 

Дальше К следующему разделу Назад К предыдующему разделу Начало К началу разделу Конец К концу разделу Список К оглавлению