Дальше

Назад

Начало

Конец

Список

Пусть в матрице наблюдений X каждый j-й столбец, j = 1, 2,…, m, представлен гидробиологическим показателем, а каждая i-я строка, i = 1,2,…,n, описывает гидробиологическое измерение, выполненное в некотором пространственно-временном аспекте. Предположим, что каждой строке i поставлен в соответствие некоторый качественный признак (фактор), на основании которого общую многомерную выборку можно сгруппировать в частные независимые случайные выборки: если фактор имеет p уровней A₁, A₂, …, A_p, то при каждом уровне A_k фактора, k = 1,...,p, имеется n_k измерений. Необходимо проверить, насколько статистически значимо различаются между собой блоки матрицы X, относящиеся к разным уровням фактора A, и количественно оценить меру таких различий.

Использование детерминистических методов кластеризации, описанных в разделе 7.3, оправдано в некоторых частных случаях, когда по условию задачи нужно получить простые решения или невозможно использовать вероятностные методы. Преемущества последних заключается в том, что они допускают наличие ошибок и неполноту знаний о сравниваемых объектах и оперируют с плотностью распределения вероятностей переменных.

В общем случае параметрические методы анализа многомерных наблюдений, принадлежащих к разным классам, основываются на формуле условных вероятностей, предложенной в конце XVIII в. малоизвестным священником и прекрасным английским математиком Томасом Байесом:

где P(x) – функция распределения плотности вероятности всех данных в m-мерном пространстве независимо от того, к какому классу они принадлежат; P(A_k) – вероятность наблюдения класса A_k; P(A_k/x) – условная вероятность того, что вектор x принадлежит классу A_k; P(x/A_k) – условная вероятность получения для класса A_k вектора данных x.

Как отмечалось выше, в принятой модели данных – таблице наблюдений X – совокупность n измерений может быть представлена "облаком" n точек в m-мерном пространстве, которое в целом можно охарактеризовать положением и степенью компактности. В большинстве методов многомерного анализа предполагается, что имеет место нормальное распределение случайной величины x_ij. Это связано с тем, что центральная предельная теорема для одной величины распространяется и на многомерный случай, т.е. последовательность сумм независимых одинаково распределенных случайных векторов сводится к многомерному нормальному распределению N(m , S ) с вектором (m´ 1) из средних m и матрицей (m´ m) ковариаций S .

Для определенности рассмотрим задачу разделения двух множеств объектов (множества "Класс 1" и множества "Класс 2"). Очевидно, что два множества будут разделяться тем лучше, чем больше расстояние между их центрами. Кроме того, задача разделения множеств упрощается при условии сужения диаметров этих множеств, если фиксировано расстояние между оболочками и их центрами. Если к тому же многомерный закон распределения значений параметров является нормальным, то для любой пары признаков мы получим два эллипса, как это показано для двух координат x_j и x_k на рис. 7.5. Левая часть рисунка соответствует ситуации, когда разделимость двух областей оценивается, как расстояние между центром области "Класс 1" и всеми точками множества "Класс 2". Правая часть соответствует ситуации, когда разделимость двух областей оценивается как расстояние между центром области "Класс 2" и точками "Класс 1". Пунктирные эллипсы на рис. 7.5 соответствуют ситуации, когда одновременно оценивается дисперсия обоих разделяемых областей, что упрощает задачу их разделения при неизменности расстояний между центрами этих областей. Центрам обеих областей соответствуют векторы математических ожиданий значений каждого признака: m(X₁) и m(X₂) для множеств объектов "Класс 1" и "Класс 2", соответственно.

(D₁)²=(X₂-m(X₁))^T С₁^-1 (X₂-m(X₁)),(7.12)

где (X₂-m(X₁))^T – транспонированный вектор расстояний между каждой точкой множества "Класс 2" и центром области "Класс 1", (X₂-m(X₁)) – этот же вектор расстояний по выбранным координатам, но без его транспонирования, С₁^-1 – обратная ковариационная матрица контролируемых параметров образов "Класс 1".

(D₂)²=(X₁-m(X₂))^T С₂^-1 (X₁-m(X₂)), (7.13)

где (X₁-m(X₂)) и (X₁-m(X₂))^T – прямой и транспонированный векторы расстояний между конкретным примером "Класс 1" и центром области "Класс 2", С₂^-1 – обратная ковариационная матрица переменных для множества объектов "Класс 2".

В многомерном случае элементы матрицы С, которая является несмещенной оценкой ковариационной матрицы S , вычисляются по следующей формуле:

где j и l – все возможные пары индексов измеряемых признаков, j = 1,2,…,m, l = 1,2,…,m. Выражения в скобках – отклонения значений переменных x_ij от соответствующего общего среднего x_· j. При j = l по формуле (7.14) вычисляются среднеквадратичные отклонения, которые соответствует выборочным дисперсиям отдельных переменных, а при j ¹ l оцениваются ковариации между двумя переменными. Если каждый элемент ковариационной матрицы С разделить на квадратный корень из произведения соответствующих диагональных элементов ., то получается рассмотренная в разделе 7.2 корреляционная матрица R.

Обратная матрица С^-1 находится специальными методами линейной алгебры путем определения нетривиального решения матричного уравнения C C^-1 = I, где I – единичная матрица (т.е. матрица, состоящая из единиц, расположенных на главной диагонали). Следует обратить особое внимание на то, что вычисление ковариационных матриц С для векторов, состоящих из десятков и сотен переменных – это вполне реализуемая устойчивая техническая задача, имеющая квадратичную сложность. Однако, располагая вычисленными ковариационными матрицами С, поиск обратных матриц (например, по алгоритму Гаусса) является неустойчивой задачей кубической сложности, поэтому реальным является обращение матриц не более 100-го порядка.

Структура приведенных выражений для расстояния Махалонобиса между вектором и множеством служит основой для построения обобщеного расстояния Махалонобиса, между образами "Класс 1" и "Класс 2" с векторами средних значений m(X₁) и m(X₂), соответственно:

D² = (m(X₁)-m(X₂))^T С^-1 (m(X₁)-m(X₂)) .(7.15)

Приведенная статистическая мера удовлетворяет аксиомам расстояния только в случае равенства ковариационных матриц обоих классов С₁ и С₂. Поэтому под С^-1 обычно понимают некоторую усредненную величину, например, объединенную выборочную ковариационную матрицу вида

С = [(n₁ – 1) C₁ + (n₂ – 1) C₂] / (n₁ + n₂ – 2).(7.16)

К основным преимуществам обобщенного расстояния Махалонобиса следует отнести учет коррелированности признаков между собой и инвариантность относительно невырожденных линейных преобразований, что избавляет от необходимости нормировки исходной матрицы наблюдений. С использованием расстояния Махалонобиса возможна статистическая проверка гипотез о равенстве двух подмножеств векторов при неизвестной ковариационной матрице. Многомерным аналогом для двухвыборочной t-статистики Стьюдента является двухвыборочная T²-статистика Хоттелинга:

Т² = (m(X₁)-m(X₂))^T С^-1 (m(X₁)-m(X₂)) n₁n₂ /(n₁ +n₂) = D² n₁ n₂ /(n₁ +n₂) . (7.17)

(7.18)

Описанные выше методы многомерной статистики корректно применимы при выполнении ряда условий: мультинормальность распределения значений измеряемых признаков, равенство ковариационных матриц и достаточно большой объем выборок, позволяющий получать хорошие оценки ковариаций. Каждое из этих условий является скорее исключением, нежели обычной ситуацией, с которой имеет дело биолог. Эти обстоятельство побудили исследователей к поиску иных методов решения задачи разграничения двух совокупностей, основанных на некоторых эвристических принципах. Опишем кратко один из таких методов, предложенный В.Н. Котовым и Н.Г. Терентьевой [1989] и использующий понятие “биоквант”, который сами авторы определили как "алгебраический".

Общая формализация самого понятия разграничения казалось бы проста и естественна: две совокупности Х₁ и Х₂ считаются различными, если в некоторой метрике все внутригрупповые расстояния меньше межгрупповых. И действительно, случаи "идеального" разделения встречаются в практике. Однако объективная реальность имеет дело, как правило, с трангрессирующими совокупностями, где допускается существование общих или промежуточных форм, т.е. где торжествует принцип "неопределенности таксона", характерный для "размытых" множеств.

Более слабое понятие различия можно сформулировать следующим образом: две совокупности Х₁ и Х₂ считаются различными, если, используя некоторую метрику, в них можно выделить достаточно представительные по численности "скученности точек" Х₁^* и Х₂^*, различные в смысле предыдущего определения. Таким образом, биоквантом называются подмножества объектов Х₁^* и Х₂^*, для которых в заданном метрическом пространстве все внутригрупповые расстояния меньше всех межгрупповых. Пользуясь общепринятой терминологией, согласно которой максимальное расстояние между элементами множества называется диаметром этого множества, биокванты можно охарактеризовать следующим свойством: “Расстояние между биоквантом Х₁^* из совокупности Х₁ и биоквантом Х₂^* из совокупности Х₂ больше диаметра каждого из этих биоквантов”

Для нахождения биоквантов предложена [Котов, Терентьева, 1989] некоторая эвристическая процедура, основанная на преобразовании матрицы расстояний в стохастическую матрицу и расчете для каждого объекта Х₁ и Х₂ специальных оценок включения в биокванты, равных стационарным вероятностям перехода в марковской цепи. После выделения биоквантов принимается или отвергается гипотеза о наличии различий между группами измерений по следующему достаточно условному эвристическому правилу:

Сформируем матрицу из 412 наблюдений, относящихся к 10 рекам Самарской области, по которым был проделан наиболее репрезентативный объем экспедиционных исследований. В составе р. Чапаевка, характеризующейся определенной региональной неоднородностью, выделим две группы станций, расположенных в верхнем течении (ст. 1-12) и ниже г. Чапаевска (ст. 13 – 23).

• показатели обилия – прологарифмированные значения общей численности N_s и биомассы B_s по всем видам бентоса;

• показатели биоразнообразия – количество видов S и информационный индекс Шеннона H , рассчитанный по численности зообентоса;
• показатели хирономидного комплекса – значения ln((N_s× B_s)^0.5) отдельно по подсемействам Orthocladiinae и Tanypodinae, а также трибам Tanytarsini и Chironomini.

Для каждой пары групп измерений, относящихся к разным водоемам, рассчитаем обобщенное расстояние по Махалонобису D², критерий Хоттелинга T² и соответствующие ему F-критерий и значение вероятности p (см. табл. 7.5).

Примечание: Для каждой пары рек в клетках, расположенных выше главной диагонали - обобщенное расстояние по Махалонобису D² (вверху) и значения T²-критерия Хоттелинга (внизу); в клеткак, расположенных ниже главной диагонали – F-критерий и соответствующая ему вероятность p.

Если величина p превышает выбранный уровень значимости, то нет оснований отвергать нулевую гипотезу о том, что измерения, выполненные на данной паре водоемов, принадлежат к одной генеральной совокупности. Например, можно считать статистически сходными по данному комплексу признаков реки Маза (4) и Тайдаков (5), Маза и Муранка (6), Тайдаков и Муранка – эти и другие пары вероятностей, превышающие 0.05, отмечены в табл. 7.5 жирным шрифтом.

Полученные значения обобщенной меры Махаланобиса, T² и F-критериев могут быть интерпретированы как матрицы расстояния между классифицируемыми объектами и обработаны описанными в предыдущем разделе алгоритмами кластерного анализа с целью построения дендрограмм.

На рис. 7.6 приведены результаты классификации рек Самарского региона по методу Уорда. Необходимо отметить, что выброчные меры Махалонобиса D² зависят от объема n₁ и n₂ сравниваемых подвыборок, в результате чего при большом количестве измерений, характерных, например, для р. Чапаевка, коэффициенты расстояния оказываются сильно заниженными, что нашло свое отражение в результатах кластеризации на дендрограмме фиг. “а”. Значения критерия Хоттелинга T² и F-критерия в этих же условиях являются несмещенными оценками, не так сильно зависящими от количества измерений, поэтому дают, по нашему мнению, более адекватные результаты кластеризации (см. фиг. “б” рис. 7.6).

Дальше

Назад

Начало

Конец

Список