Дальше К следующему разделу Назад К предыдующему разделу Начало К началу разделу Конец К концу разделу Список К оглавлению

5.4. Непараметрические критерии для оценки однородности выборок

Формулировка задачи

В рамках постановки задачи однофакторного и двухфакторного дисперсионного анализа (см. разделы 5.2 - 5.3) необходимо выполнить проверку нулевой гипотезы об отсутствии различий между группами наблюдений в условиях неопределенности априорных предпосылок о нормальности распределений и однородности дисперсий.

Ранее было показано, что основные гидробиологические показатели, – численность и биомасса, – не удовлетворяют исходным предположениям о нормальности распределения и для их анализа не могут быть использованы параметрические методы и критерии. Выход был найден в функциональном преобразовании сравниваемых выборок; однако, подвергая деформированию шкалу измерений, мы неизбежно должны оговариваться, что влияние, например, сезонного фактора сказывается в отношении логарифма численности, а не самой численности, т.к., по сути дела, формально это два разных показателя.

В условиях неопределенности исходных предпосылок дисперсионного анализа, проще опираться в своих выводах на отношениях "больше - меньше" между наблюдениями, т.к. эти отношения не зависят от формы распределения. Рассмотрим применение для проверки нулевой гипотезы семейства ранговых непараметрических критериев, опирающихся на рангах, которые получают числа Xij при упорядочении всей совокупности.

Рекомендуемая литература: [Большев, Смирнов, 1968; Гаек, Шидак, 1971; Гублер, Генкин, 1973; Кендалл, 1975; Рунион, 1982; Холлендер, Вулф, 1983].

 

Математический лист

Статистики Вилкоксона и Манна-Уитни для сравнения двух выборок

Пусть имеются две выборки X1, X2, ..., Xm и Y1, Y2, ..., Yn из n и m числовых результатов наблюдений, функции распределения которых непрерывны и строго возрастают, причем эти случайные величины независимы в совокупности. Из непрерывности функций распределения следует, что с вероятностью 1 все m + n результатов наблюдений различны. В реальных статистических данных иногда встречаются совпадения, и тогда теоретическая схема действует как приближенная, основанная на усреднении рангов, а надежность ее выводов снижается по мере увеличения числа совпадений. Рассмотрим критерии сравнения средних тенденций двух выборок.

Статистика W двух выборочного критерия, предложенного в 1945 г. Ф. Вилкоксоном (F.Wilcoxon), определяется следующим образом. Все элементы объединенной выборки X1, X2, ..., Xm, Y1, Y2, ... , Yn упорядочиваются в порядке возрастания. Последовательность рангов (т.е. порядковых номеров места, которое каждое значение занимает в общем упорядоченном ряду объема m + n) является некоторой перестановкой чисел 1, 2, …, m + n, а общее число возможных ранговых последовательностей равно (m+n)! Пусть элементы первой выборки X1, X2, ..., Xm занимают в общем вариационном ряду места с номерами R1, R2, ..., Rm, другими словами, имеют ранги R1, R2, ..., Rm. Тогда критерий (статистика) Вилкоксона

W = R1 + R2 + ... + Rm(5.57)

будет уменьшаться по мере того, как наблюдения из первой группы будут оказываться чаще в левой части вариационого ряда чисел 1,2,…,m+n+1, т.е. наблюдения Y-ов получают тенденцию превосходить наблюдения Х-ов. Вилкоксон показал, что при справедливости нулевой гипотезы, когда значения выборок хорошо перемешаны, статистику W можно считать приближенно нормально распределенной со средним m× (m+n+1)/2 и дисперсией m× n× (m+n+1)/12. Это позволило разработать методики проверки справедливости нулевой гипотезы на заданном уровне значимости [Большев, Смирнов, 1983].

Статистика U Манна-Уитни (H.B. Mann, D.R. Whitney), предложенная в 1947 г., определяется как число пар (Xi, Yj) таких, что Xi < Yj , среди всех m× n пар, в которых первый элемент – из первой выборки, а второй – из второй. Иными словами, уславливаются, что Xi < Yj означает "успех", а всякое событие Xi > Yj – "неудачу". На всем множестве возможных парных сравнений n× m подсчитаем число "успехов" U и полученную случайную величину назовем статистикой Манна-Уитни. На "языке формул" имеем:

, где (5.58)

Ясно, что U может принимать значения от 0 до m× n.

Имеются доказательства [Оуэн, 1973], что статистики W и U эквивалентны в смысле связывающей их линейной функции

U = m× n + m(m+1)/2 - W , (5.59)

поэтому часто говорят об общем критерии Вилкоксона–Манна–Уитни.

Вернемся к задаче однофакторного дисперсионного анализа, оперирующей с таблицей X = {x11, x21, …, xn11, x12, …, xnkk}, где j = 1,2,…k – количество уровней группировки фактора, nj – количество наблюдений на j-м уровне. Упорядочим величины xij (все равно как – от меньшего к большему, либо наоборот) и обозначим через rij ранг числа xij во всей совокупности. При выполнении гипотезы Но любые возможные расположения рангов по местам дисперсионной таблицы равновероятны. Согласно стратегии анализа возникает вопрос: нельзя ли объяснить эмпирическое расположение рангов в таблице измерений чисто случайными причинами. Это соответствует проверке статистической гипотезы о том, что все k предъявленных выборок однородны, т.е. являются выборками из одного и того же закона распределения, для чего необходимо сконструировать ранговый статистический критерий, чувствительный к определенной совокупности альтернатив.

Критерий Краскела-Уоллиса: проверка однородности при одном факторе

Для каждого уровня фактора j рассчитывается средний ранг:

.(5.60)

Если между столбцами нет систематических отличий, то средние групповые ранги Rj , j=1,2,…,k, не должны значительно отличаться от среднего ранга, рассчитанного по всей совокупности , который равен (N+1)/2 (N – общее количество измерений). Поэтому при справедливости Но величины в совокупности не должны быть большими.

Исходя из этого утверждения, статистика Краскела-Уоллеса рассчитывается как

, (5.61)

где множитель перед знаком суммы присутствует в качестве нормировочного для обеспечения асимптотической сходимости распределения KU к распределению c 2 с числом степеней свободы (к -1).

Критерий Джонкхиера для альтернатив с упорядочением

В рамках однофакторного дисперсионного анализа для каждой пары натуральных чисел u и v, соответствующих сравниваемым выборкам, где k ³ v > u ³ 1, составим статистики Манна-Уитни:. (5.62)

Определим статистику Джонкхиера (иное название – критерий Джонкхиера-Терпстра) как усложненный вариант критерия Манна-Уитни для случаев нескольких выборок:

.(5.63)

Нетрудно заметить, что значение статистики зависит от порядка расположения градаций от 1 до k, поэтому I применяется в тех случаях, когда заранее предполагается, что имеющиеся группы результатов упорядочены по возрастанию влияния фактора. Например, первая группа наблюдений соответствует I классу качества воды в водоеме, 5 группа – V классу, а промежуточные номера соответствует последовательности классов качества. Свидетельством в пользу упорядоченности эффектов против гипотезы однородности служат большие значения статистики, полученные в эксперименте. Критерий Джонкхиера в этих условиях оказывается более чувствительным в оценке влияния фактора, чем критерий Краскела-Уоллиса.

При небольших объемах выборок распределение статистики I табулировано, а для больших выборок действует нормальная аппроксимация.

Критерий Фридмана : проверка однородности при двух факторах

Будем основываться на структурной таблице двухфакторного статистического комплекса (см. раздел 5.3). Обратим внимание на то, что критерий Фридмана можно применять только к данным, состоящим из равного числа наблюдений для каждой клетки из k× n. Подобные планы эксперимента называются сбалансированными. Критерий основывается на тех же концепциях, что и статистика Краскела-Уоллеса, однако, в отличие от однофакторного анализа, ранжирование происходит не по всей совокупности величин xij, а по блочно, т.е. рассматривается каждая отдельная i-я строка и пересчет в ранги происходит для j = 1,2,…,k. Тем самым устраняется влияние "мешающего" фактора В, значение которого для всех строк постоянно.

При гипотезе Но: a1 = a2 = ... = ak = 0 об отсутствии влияния фактора А каждая строка рангов будет представлять случайную перестановку чисел от 1 до k, причем все k! перестановок равновероятны. Введем величину , являющуюся средним значением рангов по столбцу j, и будем сравнивать ее с общим средним рангом всех элементов таблицы, равном Rср = (k + 1)/2.

Статистика Фридмана для проверки гипотезы Ho имеет следующий вид:

. (5.64)

При справедливости нулевой гипотезы (в силу равновероятности построчных перестановок рангов) значения (RjRср)2 достаточно малы для всех j и, следовательно, значение S сравнительно невелико. При нарушении Ho баланс суммы рангов по столбцам нарушается и статистика Фридмана возрастает. Для небольших величин n и k критические значения S(a ,k,n) могут быть найдены по таблицам. При n ® ¥ статистика Фридмана асимптотически распределена как c 2 с числом степеней свободы (к - 1).

Критерий Пейджа для альтернатив с упорядочением

Сформируем таблицу рангов так, как это было сделано при обосновании статистики Фридмана. Критерий Пейджа предназначен для проверки гипотезы Ho об отсутствии эффекта влияния фактора А (Но: a1 = a2 = ... = ak = 0) против альтернативы "влияние фактора А увеличивается (вариант: уменьшается) в определенном направлении изменения градаций" , т.е. гипотезы об упорядочении H1: a1 £ a2 ££ ak, где хотя бы одно из неравенств строгое.

Введем величину , являющейся суммой рангов по столбцу j. Статистика Пейджа по определению есть:

. (5.65)

Методы проверки нулевой гипотезы с использованием L-критерия Пейджа изложены в литературе [Холлендер, Вульф, 1983; Ликеш, Ляга, 1985] и иллюстрируются ниже на примерах.

 

Результаты расчетов

В предыдущем разделе был проведен анализ влияния сезонного фактора (т.е. номера месяца, в котором была отобрана проба) на общую численность зообентоса и личинок Chironomidae, в частности. Однозначных выводов, в конечном итоге, сделано не было, в первую очередь потому, что сезонная динамика различных видов водных организмов далеко не однозначна. Рассмотрим результаты проверки нулевой гипотезы об однородности выборок численности отдельных видов хирономид, взятых в различные месяцы отбора проб, с использованием методов непараметрической статистики. В таблице 5.11, кроме значений критерия Краскела-Уоллиса, приведены параллельно величины параметрических F-критериев Фишера, рассчитанных по натуральным и предварительно прологарифмированным выборкам.

Таблица 5.11

Результаты параметрического и непараметрического однофакторного дисперсионного анализа влияния фактора сезонности на численность отдельных видов зообентоса

Наименование видов

Объем выборки

По численности

По логарифму численности

По методу Краскела-Уоллиса

F-кри-терий

p-зна-чение

F-кри-терий

p-зна-чение

KU-кри-терий

p-зна-чение

Chironomus plumosus

190

2.62

0.0367

0.39

0.815

2.064

0.723

Cladotanytarsus mancus

138

1.93

0.109

0.85

0.493

3.385

0.495

P.nubeculosum

183

0.90

0.463

0.73

0.574

3.279

0.512

Dicrotendipes nervosus

75

0.06

0.99

3.43

0.0127

13.16

0.010

Cryptochironomus gr. defectus

139

4.65

0.0015

2.07

0.088

10.718

0.029

Procladius ferrugineus

177

0.22

0.926

0.62

0.651

3.302

0.508

Prodiamesa olivacea

59

0.30

0.828

0.35

0.788

1.229

0.746

 

По результатам расчетов можно сделать следующие выводы:

Сезонная динамика значений среднего ранга численности некоторых видов представлена на рис. 5.11. Можно отметить, например, не совсем обычные для жизненных циклов P. nubeculosum и Cladotanytarsus mancus колебания численности их личинок.

Рис. 5.11. Изменение среднемесячного ранга численности отдельных видов хирономид

Для окончательного уточнения сезонных изменений обилия Cryptochironomus gr. defectus проверим в качестве альтернативы к нулевой гипотезе предположение о монотонном снижении численности вида с мая по сентябрь с использованием статистики Джонкхиера. Для ее вычисления найдем значения критерия Манна-Уитни U для всех комбинаций индексов u и v, которые меняются от 5 до 9, причем u < v:

U56 = 149; U67 = 621; U78 = 610.5; U89 = 145

U57 = 171; U68 = 198.5; U79 = 443;

U58 = 55.5; U69 = 228;

U59 = 71

Откуда = 2692.5 .

Для нахождения минимального уровня значимости критерия Джонкхиера воспользуемся нормальной аппроксимацией: I ~ N(MI, DI), где

= 3460.5; = 67645 .

Величина асимптотически имеет стандартное нормальное распределение и по таблицам для I* = -2.95 имеем р = 0.00051, т.е. принимается гипотеза о монотонном снижении численности Cryptochironomus gr. defectus в течении сезона. Заметим, что критерий Джонкхиера оказался более чувствительным к выявлению тенденции, чем статистика Краскела-Уоллиса.

Рассмотрим теперь, как влияют на разнообразие видов зообентоса, оцененное по индексу Шеннона Н, два фактора – место расположения точки отбора пробы и месяц, во время которого произведено наблюдение. Поскольку метод Фридмана использует сбалансированные планы, сформируем таблицу средних значений индексов Шеннона для р. Чапаевка, разбив всё течение реки от истоков до устья на 6 участков (см. табл. 5.12). Поскольку на участках 1-4 в августе измерения не проводились, в соответствующие пропущенные клетки таблицы были подставлены средние за август значения индекса на устьевых участках (xij = 1.605).

Таблица 5.12

Средние значения индекса Шеннона по численности зообентоса для различных участков р. Чапаевка и месяцев отбора проб наблюдений

Участки / месяцы

Май

Июнь

Июль

Август

Сентябрь

В среднем

1. Исток (ст. 1-2)

2.637

2.595

2.007

1.605

1.751

2.247

2. Верховья (ст. 3-4)

2.798

1.807

2.683

1.605

2.370

2.414

3. Средний участок (ст. 5-9)

2.756

2.589

2.335

1.605

1.889

2.392

4. Район Колывани (ст. 10-12)

2.692

2.484

2.413

1.605

2.346

2.484

5. Низовья (ст. 14-22)

0.501

1.219

1.414

0.875

1.373

1.077

6. Устье (ст. 23)

1.827

1.436

2.292

2.336

1.220

1.822

В среднем

2.202

2.022

2.191

1.605

1.825

2.073

Выполним предварительно стандартный двухфакторный дисперсионный анализ (см. таб. 5.13). Очевидно значимое влияние фактора Ф1 расстояния от устья и отсутствие влияние фактора сезонности Ф2.

Сформируем в соответствии с методом Фридмана две таблицы рангов и рассчитаем для каждого столбца и каждой строки таблицы 5.11 суммы рангов и средние суммы рангов, поместив результаты в табл. 5.14.

Таблица 5.13

Дисперсионный анализ значений индекса Шеннона в зависимости от участков р. Чапаевка и месяцев отбора проб наблюдений

Источник вариации

Сумма квадратов

Степеней свободы

Средние квадраты

F-отноше-ние

p-значение

Ф1 – участок

5.73

5

1.146

6.04

0.0017

Ф2 – месяц

1.69

4

0.4224

2.226

0.102

Остаточная

3.795

20

0.1897

Всего

11.21

29

0.3867

 

Таблица 5.14

Ранжирование значений индекса Шеннона по участкам р. Чапаевка и месяцам взятия проб

По строкам таблицы 5.11

По столбцам таблицы 5.11

Участки

Средний ранг

Сумма рангов

Месяцы

Средний ранг

Сумма рангов

1. Исток (ст. 1-2)

3.5

17.5

Май

4.00

24

2. Верховья (ст.3-4)

4.9

24.5

Июнь

3.17

19

3. Средний участок (ст. 5-9)

4.3

21.5

Июль

3.67

22

4. Район Колывани (ст. 10-12)

4.3

21.5

Август

1.83

11

5. Низовья (ст.14-22)

1.2

6

Сентябрь

2.33

14

6. Устье (ст. 23)

2.8

14

 

Рассчитав значение критерия Фридмана для левой части таблицы 5.14, мы получим S = 13.67. Этому значению соответствует статистика c 2 с 5 степенями свободы и вероятностью p = 0.0178, т.е. с таким уровнем значимости нулевая гипотеза отвергается в пользу альтернативы и влияние места отбора пробы на индекс Шеннона можно считать установленным.

Аналогично для правой части таблицы имеем S = 7.86, p = 0.096, т.е. в представленных данных фактор сезонности не оказывает влияния на биоразнообразие. Нельзя не отметить практическое совпадение уровней значимости гипотез, оцененных по критериям Фишера и Фридмана.

Сделаем теперь предположение о том, что биоразнообразие зообентоса монотонно убывает от истоков к устью. Проверим эту гипотезу по критерию Пейджа:

= 14 + 2× 6 + 3× 21.5 + 4× 21.5 + 5× 24.5 + 6× 17.5 = 404 .

Для нахождения приближенного значения минимального уровня значимости критерия Пейджа воспользуемся (аналогично расчетам уровня значимости для критерия Джонкхиера) нормальной аппроксимацией распределения следующей статистики:

= 14.4,

что очень близко к нулю по таблицам стандартного нормального распределения и нулевая гипотеза уверенно отвергается, т.е. наше предположение о монотонном снижении индекса Шеннона не противоречит данным.

Впрочем, для незначимого фактора Ф2 сезонной изменчивости критерий Пейджа также достаточно велик и равен L = 242, чему соответствует р = 0.011. Это иллюстрирует тезис о том, что в случае упорядоченных альтернатив для критерия Пейджа характерна не всегда обоснованная гипердиагностика в пользу оценки влияния фактора.

Дальше К следующему разделу Назад К предыдующему разделу Начало К началу разделу Конец К концу разделу Список К оглавлению