ВЛ: Поздравляю вас с хорошей работой, которую по достоинству оценят многие читатели. Ваша книга меня очень порадовала своей глубиной, авторской увлеченностью и незаурядным кругозором авторов! Что в наше время встречается не часто. Однако я не вполне уверен в том, что вы сами ее сейчас оцениваете адекватно. Таких книг сейчас практически нет. Если вы издаете ее малым тиражом и в малоизвестном издательстве, книгу читатель не узнает. Поэтому настоятельно рекомендую не выкладывать ее в свободный доступ в интернете, а искать хорошее издательство. Книгу купят многие. Я обещаю сделать ей хорошую рекламу на своем сайте. Только если будете издавать в хорошем издательстве, почти всю графику надо переделывать. Графика бледная…

ВШ, ГР и ТЗ: Спасибо, Василий, за столь благоприятный отзыв на наш скромный труд.

ВЛ: О слове “интернет”. Согласно современным доводам филологов его надо писать с маленькой буквы…

ВШ: Неисповедимы пути русского языка. Скоро, наверное, будут писать с маленькой буквы и windows и билл гейтс.

ВЛ: Говоря “А”, вы не всегда развиваете ключевые для существа дела мысли. Например, на стр. 28 вы цитируете Е.П. Воробейника с соавторами [1994], который предлагает критические значения оценивать с использованием толерантных множителей, используемых в математической теории надежности. Определеннее было бы вам рассказать о коэффициенте k, ссылаясь на теорию толерантных интервалов в статистике. Это не то же самое, что доверительные интервалы. Можете посмотреть краткое изложение толерантных интервалов в книге П. Мюллера с соавторами [1982].

ВШ: Мы бы с удовольствием рассказали еще о многом и объяли все необъятные просторы статистики, но помним предостережение Козьмы Пруткова.

НЦ: К списку основополагающей литературы, упомянутому во введении, я бы добавил и другие великолепные книги, которые приятно читать не только биологу, но и любому математику и исследователю: В.Ю. Урбаха [1964], В.В. Александрова и В.С Шнейдерова [1984], E.В.Гублера и А.А. Генкина [1973].

ВЛ: Мне очень понравился раздел 2.4. "Математические модели в экологии". Рекомендую его дополнить работами В.В. Налимова, в частности, его книгой "В поисках иных смыслов", в которой он весьма остро ставит вопрос о том, в какой мере современная наука является "научной"? Немало интересного по этой теме и в его последней книге "Разбрасываю мысли". Спасибо за цитирование отдельных фрагментов моих статей. Но, чтобы читателю удобнее было найти первоисточник, лучше бы после каждого такого фрагмента давать точную ссылку.

ВШ: Признаемся, грешны. Если где-то встречали нетривиальную мысль или малоизвестный интересный факт, то старались повзаимствовать. И если где-то опускали точный адрес первоисточника, то только из стремления не перегружать текст "именами, адресами, явками, паролями…". Читателю не всегда интересно, кто первым обратил внимание на тот или иной факт. Кстати, приведу цифры цитируемости фамилий отдельных персоналий по тексту книги: Г.С. Розенберг – 64, Р. Фишер –59, А.Н. Колмогоров – 30, А.Ф. Алимов – 25, В.В. Налимов – 14, В.П. Леонов – 11, В.К. Шитиков – 10. Вы, Василий, находитесь во вполне приличной компании.

ГР: Готов констатировать, что это не плагиат, а хорошая память…

ВЛ: Далее, вы пишете: “Основной задачей регрессионного анализа является идентификация вида восстанавливаемой функциональной зависимости Y » f(X)”. Но регрессионное уравнение является статистической или, вернее, стохастической зависимостью. И в этом случае некорректно говорить о функциональной зависимости. Это антиподы – функция и вероятностная зависимость.

ВШ: Признаться, я не знаю, что такое в природе "функциональная зависимость" без предлога "вероятностная". В реальном мире детерминированных функций просто не бывает – даже движение Земли вокруг Солнца подвергается массе возмущений.

ВЛ: Владимир, Вы просто "перегибаете палку"! Вспомните школьную алгебру, вузовскую аналитическую геометрию и т.д. Одно дело говорить о моделях реальных процессов, и совсем иное – в принципе отвергать существование такого понятия как функция. На днях я на сайте "Биометрика" открыл новый раздел, посвященный А.Н. Колмогорову в связи со столетием со дня его рождения. Так вот, его теория вероятностей построена полностью на функциях.

ВШ: Ох, мой дорогой доцент! Не знаю, насколько имеет смысл продолжать "функциональную" дискуссию, но что-то зацепило. Попытаемся “отделить мух от котлет”. В анфиладе миров, с которыми сталкивается человек, можно выделить два обособленных, но взаимно влияющих мира:

• Абстрактный мир математики, включающий и математический анализ в его детерминационной ипостаси и методы исследования стохастических процессов (теория вероятностей, математическая статистика и пр.). Как любой абстрактный мир он абсолютно точен и однозначен. Например, окружность - вполне однозначное математическое понятие и способ вычисления ее длины достаточно детерминирован (в смысле точности определения величины p );
• Реальный мир физических, химических, биологических и прочих процессов. Все эти процессы принципиально многофакторны, нестационарны и стохастичны. В них просто нет ни функций, ни детерминизма. В некотором приближении детерминированными процессами можно назвать лишь некоторые внутримолекулярные явления.

НЦ: Нельзя! Понятия “в некотором приближении” и “детерминированные” логически не совместимы.

ВШ: Например, длина волны одной спектральной линии криптона почти в точности равна 6.0378× 10^-7 м. Процесс атомного излучения изотопа Kr⁸⁶ можно назвать "в некотором приближении" детерминированным процессом, что и было использовано в качестве эталона меры длины вместо известной платиновой болванки. Аналогично принят и эталон времени. Но, дело не в этом. Изучение процессов реального мира заключается в приспособлении ("восстановлении" по В.Н.Вапнику) некоторой приглянувшейся абстрактной функции из математического мира для описания имеющихся эмпирических данных. Это проделывали и И. Ньютон, и Г. Ом, и А.Майкельсон (для вычисления скорости света). Возникали "законы", имеющие внешне детерминированную внешность, но вероятностные (как любая модель вообще) по своей природе, поскольку процесс реального мира и приспособленная для его описания математическая "функция" принципиально неидентичные.

НЦ: Переход "закономерности" в "закон" – это переход количества в качество. Но, тем не менее, закономерность и закон – разные вещи. Закон (природы, в частности) не знает исключений – иначе это не закон, а закономерность или правило.

ВШ: Например, Вы вышли на футбольное поле исследовать реальный центральный круг. Измерили 20 раз длину окружности и радиус и оценили по уравнению регрессии число p . Оно может варьироваться от 3.05 до 3.3, потому что Ваш круг может являться и не кругом вовсе, а эллипсом и нужно вести расчеты по иной формуле. Или Вы неточно находили центр окружности, радиус и проч. "Закон" в виде формулы или модели и реальный процесс никогда не совпадают.

НЦ: Но мне кажется, нам тут нечего рассуждать. В любом учебнике по математическому моделированию эти вопросы толково разобраны. Могу открыть и процитировать.

ГР: И опять я готов констатировать, что эта дискуссия о соотношении случайности и детерминированности не конструктивна. Мне представляется, что должно существовать понимание того, что это – “две стороны одной медали” и очень многое определяют цели исследования (объяснение, прогноз, измерение и пр.).

ВШ: Отнюдь, нет: мы потихоньку уткнулись в ключевой вопрос системологии: "что есть СИСТЕМА?". Если СИСТЕМА – это и есть сам реальный мир, то это представление имеет право на жизнь, но в практических целях оно малопродуктивно. Рациональнее предложить другое понятие “системы” (а значит и ЗАКОНА системы) – "это ОТОБРАЖЕНИЕ в мозгу исследователя некоторых наблюдаемых свойств реального мира, необходимых для решения поставленной задачи". Отсюда следствие: "система не может быть СЛОЖНОЙ". Утверждая так, исследователь либо неверно обозначил цели, либо привлек незначимые факторы, либо не нашел пути вычленения главного индикаторного показателя (“нет фригидных женщин, а есть только неумелые любовники”). И.Ньютон, например, поставил своей целью оценить силу физического взаимодействия между телами. Он сконструировал специально для этой цели СИСТЕМУ взаимно влияющих материальных тел, нашел (вероятно, статистически!) закономерность в виде регрессионного уравнения и назвал ее ЗАКОНОМ всемирного тяготения. Так где та грань между законом и закономерностью? Понятно, что отличие между ними – в мере всеобщности. Но тогда надо разработать принципы измерения всеобщности. Одна моя шефиня, готовя докторскую диссертацию по экономике, открыла двадцать с лишним новых экономических законов рационального природопользования при социализме, которые вскорости благополучно загнулись…

НЦ: Вот Вам и примеры закономерностей… Все-таки я не во всём согласен как с Марксом, так и с Каутским! Моделируемые процессы имеют принципиально разную внутреннюю сложность, а сложность модели должна быть адекватна сложности процесса.

ГР: Совершенно верно. Взаимодействие двух шариков может быть описано по Ньютону простой формулой, взаимодействие двух популяций из хищников и их жертв – одним дифференциальным уравнением. Совершенно другое дело – модель экосистемы даже небольшого озера. В противоположность оценке вещественно-энергетических параметров простых физических систем, исследование экологических систем связано с изучением сложных морфофункциональных параметров. Описания экосистем нельзя "вогнать" в простые уравнения, поскольку аналитические модели отдельных качеств не адекватны принципам поведения всей системы в целом.

ВШ: Все зависит от поставленной задачи. Однако предлагаю закрыть тему и двинуться дальше.

НЦ: В главе 3 вы приводите хороший критический анализ показателей химического загрязнения воды. Убедительно, но одна загвоздка. Все показатели суть – случайные величины! Значит их сравнение с эталоном – предмет теории проверки статистических гипотез!

ВШ: Именно эта причина и побудила нас дополнить главу разделом 3.7.

НЦ: Я не совсем удовлетворен формой его изложения. В теории статистики приняты определённые нормы языка и обозначений. Хотелось бы их придерживаться, а вы этим грешите на протяжении всей книги. В частности, статистические параметры (константы) принято обозначать греческими буквами, а их статистические оценки – латинскими (или греческими же с "крышечкой"). Наконец, трудно понять, что к чему, из-за отсутствия примеров.

ВШ: Замечание по "нормам языка" справедливо. А пример мы не дали по следующим причинам.

Во-первых, мы не очень согласны с Вашим тезисом о "независимости" измерений концентраций отдельных ингредиентов. Все данные многокомпонентного химического анализа в пространственно-временном аспекте являются, как правило, СОПРЯЖЕННЫМИ. Тут правильно говорить о статистических оценках варьирования самого показателя m , как суммы нормированных на ПДК концентраций n ингредиентов, измеренных в одной точке в одно и то же время. Эти статистики должны быть рассчитаны по единым формулам, т.е. как и для остальных независимых столбцов.

Во-вторых, нам видится целая "матрешка" задач от простейшей к наиболее сложной:

НЦ: Верно ли я понял, что m может быть равно, скажем, 2.6 и мы отнесём эту грязищу к классу качества 4? Тогда и так ясно, что об остальных классах качества можно не беспокоиться и рассматривать только сравнение m с ближайшей пороговой величиной 2.5!

ВШ: Альтернативная оценка "чисто-грязно" безобразно груба – для любой реки всегда можно найти такую пробу, где какой-нибудь компонент превысит ПДК. А нужная граница между классами находится как вероятность максимально приближенная к критической. Но для этого надо вычислить весь вектор вероятностей.

НЦ: Со временем эту задачу можно подробно разобрать, построить графики, номограммы, всё будет легко считать. Только, насколько я понимаю, в каждой пробе воды мы имеем дихотомизм: или она чистая, или грязная! А "среднее" (это тот самый индекс ИЗВ, который меня ИЗВ-одит!) – есть, по-моему, "средняя температура по больнице". Кстати, Вы, наверное, будете смеяться, но "средняя температура тела людей, заболевших одной болезнью" – вполне легитимная статистика! Только есть один нюанс: она не интерпретируемая! Просто она имеет размерность температуры и является неким эмпирическим коэффициентом в формуле для вероятностных расчётов. Её можно, например, использовать для расчёта вполне интерпретируемой области допустимых значений (см. Л.Н. Большев и Н.В. Смирнов [1968]) температуры гриппозных больных в критическом периоде их заболевания. То же можно сказать и об ИЗВ.

ВШ: ИЗВ не столь уж плох, как Вы его ругаете. Во-первых, это – единственная утвержденная на уровне министерства методика оценки загрязнения в шести-балльной шкале. Во-вторых, усреднение идет всегда строго по шести компонентам и, если компонентов измерено менее шести, то расчет просто не производится. В этих условиях сумма S и среднее M функционально идентичны M=S /6 или S =6M.

НЦ: Извините! Ваша река Сок – объект с распределёнными (по её длине и времени) параметрами физических свойств. В одних пробах m <1 (чистая), в других – m >1 (грязная). А как брать пробы на объекте – это не дело предметной науки (гидрологии, в вашем случае), а методов рандомизации и ГОСТов. И считать надо не ИЗВ: как я уже писал, это не интерпретируемая статистика, хоть трижды утверждённая бюрократами! Нужно оценивать долю "чистых" проб по отношению ко всем пробам, причем интерпретация результатов должно быть с распределёнными статистическими параметрами, как и сам объект.

ВШ: Вы, Натан, давно не были в России и забыли, что не параметры, а деньги здесь так мастерски распределяются, что их никто не найдет, тем более, на тщательные гидрохимические исследования…

Что касается Вашего подхода, то, по моему посконному мнению, в этом объективном мире есть только два вида измерений: простая выборка (или вектор измерений) и многомерная матрица СОПРЯЖЕННЫХ наблюдений (т.е. n различных показателей измерены при условии единства места и времени измерения). И БОЛЬШЕ НИЧЕГО. Есть некоторые попытки некоторых субъектов назвать многомерным пространством измерений некоторую совокупность несвязанных между собой простых выборок, но я, как честный программист и гидробиолог, с такими данными ничего общего иметь не хотел бы. А что же все-таки нам делать с несколькими частными критериями качества вод?

НЦ: Попробуйте использовать методику многокритериального экспертного оценивания (МЭО), подробно представленную в моей книге.

ВШ: Да, эксперты стоят дешевле (и потому легче покупаются). Из того, что я понял в МЭО, все сводится к одной формуле. Имеется n частных критериев качества K_i и общий критерий качества K_cp рассчитывается как средневзвешенное из этих значений: K_cp = S B_i*K_i / S B_i , где B_i – некоторые веса. Остальное – сплошные частности, которые заключаются в многоярусном способе расчета B_i. В гидробиологии такой подход использовали многие: и Е.В. Балушкина, и В.И. Баканов, и наш соавтор Т.Д. Зинченко.

Кстати, Ваша “статистическая оценка обобщенного среднего взвешенных частных критериев качества – ОСВ СО ЧКК” (ух, правильно?) мало съедобна без какой-либо оценки ошибки или доверительного интервала. Т.е. является такой же не интерпретируемой статистикой, как и ИЗВ.

Честно говоря, я с большим сомнением отношусь к средним (или средневзвешенным) величинам, особенно, когда надо определить класс или категорию (в нашей книге это постоянно подчеркивается). Для убедительности по этому поводу приведу следующий пример. Пусть в некой Государственной Думе образовался комитет, состоящий из 12 чел, в том числе:

• Правые партии – 5 чел.
• Центр ("партия власти") – 1 чел.
• Левые партии (коммунисты) – 6 чел.

Нужно выбрать председателя, но мнения разделились. Обратились к специалисту по экспертному оцениванию г-ну Z. Он предлагает следующую методику:

“Вводим для каждой партии "балл левизны" от 1 (Немцов) до 9 (Зюганов). Партии центра дадим балл 6. Тогда средний критерий левизны комитета: (1_*5 +5_*1+9_*6)/12=6.1. Т.к. ближе всего к этому критерию "партия власти", то следует избрать председателем ее представителя”. Через некоторое время Президент вручает в Кремле г-ну Z премию за выдающиеся заслуги в области науки и техники. Вы спросите, "причем тут Президент?" А я Вам скажу, что именно таким образом оценивают класс качества воды по индексам сапробности, используя формулу Пантле-Букка.

Далее, веса B_i можно оценивать тремя методами:

• собрать шеренгу экспертов, как это делаете Вы, и заставить их пробаллировать ситуацию (собрать то можно, да где их взять и чем кормить?);
• придумать для ранжирования важности каждого частного критерия какое-нибудь аналитическое выражение (например, каждой пробе присвоить ценность, увеличивающуюся по мере приближения даты наблюдения к 1 июля, когда гидробиологические тесты имеют наименьшую погрешность);
• использовать для расчета значений весов методы оптимизации, доставляющие, например, минимум ошибки распознавания.

Третий метод с использованием коллектива предикторов наиболее перспективен, наименее субъективен и описывается в нашей предыдущей книге "Экологическое прогнозирование" [Розенберг и др., 1994а]. К сожалению, для него необходима обучающая выборка с реками, для которых точно известен объективный класс качества. Но тут брезжит очень занятный подход, связанный со следующей вычислительной процедурой:

а) выбирается 1-й частный критерий, он объявляется основанием для оценки классов, после чего по процедуре Бейтса-Гренджера или алгоритму Дикинсона-Ершова рассчитываются оптимальные (с точки зрения критерия 1) значения весов остальных критериев B_i ;

б) процедура повторяется для всех частных критериев и получается матрица B весовых коэффициентов размерностью nxn (что с ней делать, я пока не придумал; надо ее как-то рекурсировать или свернуть в вектор).

ДФ: Вы собираетесь в неявном виде использовать метод стохастической аппроксимации, или, если вульгарно, "бутстреп". На сайте "Высокие статистические технологии" А.И. Орлова об этом в достаточном объеме написано.

НЦ: Однако, перейдем к части 3. На рис. 5.1 основные типы вероятностных распределений случайной величины представлены плохо. Координаты не названы; надо изобразить параметры (М, s и др.)!

ВЛ: Рекомендую задать в EXCEL выражение для плотности, сгенерировать порядка 100-300 наблюдений и далее построить в ППП "STATISTICA" эти кривые распределения.

ВШ: А может дать возможность попрактиковаться самостоятельно нашим читателям?

НЦ: Описание распределения Стьюдента (стр. 208) мне не понравилось. Там всё не то и не так! Начинать надо с c ²-распределения и т. д. Можно переписать у Н. Джонсона и Ф. Лиона [1981] или у других.

ВЛ: Было бы нелишним более четко акцентировать на необходимости проверки обязательных условий применения критерия Стьюдента при сравнении выборок.

ВШ: Но, помилуйте, мы писали не учебник по математической статистике, а практический справочник для гидробиологов, использующих те или иные статистические приемы в своей предметной области. И "математические листы" мы привели, скорее, не для обоснования самого подхода (об этом написаны груды специальной литературы), а чтобы привести конкретные расчетные формулы критериев и статистик, которые могут встретиться по ходу использования отдельных методов. Например, используя ППП "STATISTICA" для проверки гипотезы о законе распределения, гидробиолог может столкнуться с возможностью рассчитать, скажем, критерий Шапиро-Уилка, о котором он не имеет ни малейшего представления. И тогда он открывает нашу книгу на стр. 212…, после чего остаются удовлетворенными и авторы и читатель. А более "продвинутый" пользователь в дальнейшем может обратиться к первоисточникам. Что касается критерия Стьюдента, то, в отличие, например, от медицины, его использование в гидробиологии почему-то весьма непопулярно и трудно сказать, насколько это явление обоснованно.

НЦ: Я перечитал много статистических работ (статей, книг, учебников). Многие авторы переписывают друг у друга и у "классиков", мягко говоря, не критически. Вот и появляются в новейших учебниках голые точечные оценки, некорректные сравнения популяций по средним, небрежно указанные (или не окаймленные вовсе) области определения регрессионной модели, неокругленные статистических оценки, неоправданно большие (и иногда неясно, зачем нужные) корреляционные матрицы, громоздкие математические модели с незначимыми факторами и многое другое из "классического наследия". Это относится и к давно раскритикованным критическим пятипроцентным уровням значимости. Вот и у вас: “выбирается критический уровень значимости a_кр из стандартной линейки типа 0,001; 0,01; 0,05 (например, a_кр = 0.05)”. Всё не то и не так!

ВШ: Вы в своих "Записках…" [Цейтлин, URL] предлагаете экспертно оценивать уровень ответственности в баллах, по которому уже и рассчитывается уровень значимости. Лично мне эта "двухуровенность" кажется малопонятной: эксперту все равно, что назначать – балл от 0 до 10 или непосредственно a_кр.

НЦ: Вы даете определение основной задачи математической статистики как “вычисление статистик, являющихся критериями для оценки достоверности априорных предположений, гипотез или выводов по существу эмпирических данных”. Мне это не нравится. Скажите, какие у Вас есть книги, и я скажу, откуда лучше переписать, что есть основной предмет математической статистики. Я считаю, что: “Основным предметом математической статистики является сбор и математическая обработка информации, полученной в результате наблюдений реально существующего объекта (или явления), подлежащего экспериментальному изучению и математическому моделированию”.

ВШ: Напишем сокращенно, обрезав информационные излишки: “сбор и математическая обработка”. Совершенно с Вами не согласен – это ужасное гипертрофирование. "Сбором" занимается гидробиология, химия, гидродинамика и пр., но никак не статистика. "Математическая обработка" – это не есть БРЕНД статистики, т.к. это слишком общее определение, куда подходит масса других разделов математики или точных наук от топологии до прогнозирования маразмов. Любое определение только тогда имеет смысл, когда оно подчеркивает основную характерную черту определяемой сущности. Наше определение – гораздо конкретнее, и потому симпатичнее. А чем еще занимается статистика?

НЦ: Статистика занимается еще методологией сбора! В.В. Налимов приводит коллекцию из 165-и определений понятия “математическая статистика”, многие из которых не только лишены чёткости, но и противоречат друг другу. Ваше будет 166-м. Но наиболее глубокое представление об изучаемом предмете можно приобрести только на собственном опыте.

На стр. 210 вы пишете: “Причина такого выделения нулевой гипотезы заключается в том, что она обычно рассматривается как утверждение, несостоятельность которого более бесспорно, чем истинность.” Это неверно. Обычно сравнивают величины ущербов от ошибочного отклонения гипотез. Далее, написано: “Нулевая гипотеза H₀ не отклоняется, если вычисленное значение статистики критерия К_рас не превышает порогового К_пор” Просто неверно! Бывает и наоборот. Посмотрите формулировку статистических гипотез в разделе 1.1. моей книги.

ВШ: Вы упоминаете некоторые наиболее удачные разделы и формулировки из Вашей прекрасной работы. Я нисколько не собираюсь Вам возражать. Но что нам прикажете делать – выбрасывать куски из своей книги и заменять их на Ваши? Это вряд ли разумно, несмотря на позитивный конечный результат. “Каждый пишет, как он дышит”. Но мы постараемся в нужных местах вставить рекомендации обратиться к Вашей книге – кому надо, тот прочтет, сравнит и поумнеет.

НЦ: Написано (с. 213): “Применение критериев согласия связано с определенными теоретическими и вычислительными сложностями”. Дело не в этом – как теоретические, так и вычислительные (с появлением ЭВМ) сложности преодолены. Суть в том, что желательно использовать сразу несколько критериев! Особенно, если Вы заранее предполагаете, что распределение нормальное. Кстати, в моей книге описана более простая редакция d-критерия Гири. Получилось F-распределение Фишера, а расчёты элементарные!

Вы также приводите много гистограмм распределения выборок гидробиологических показателей и их функциональных преобразований. Я бы гистограммы вообще не рисовал – мне они не нравятся, поскольку сильно зависят от разбиения данных на интервалы. Обработку данных лучше представлять сразу в виде ЭФР (эмпирической функции распределения) в доверительных границах для заданного (нормального, раз вы хотите) распределения! ЭФР не зависит от разбиения данных на интервалы (!), а если хотите посмотреть ЭФПВ, то сгладьте и продифференцируйте её численно – получится красиво!

На мой взгляд, вы слишком часто приводите значения критериев согласия, Стьюдента, Фишера и пр.. Эти значения ни уму ни сердцу ничего не дают, тем более, в итоговых таблицах (мало ли какие промежуточные величины вычисляются)! Зато не всегда приводите соответствующий им уровень значимости. Необходимо приводить всегда и только a -критерии (Р-значения)!

ВШ: Не думаю! Народ должен привыкать к "натуральным" значениям статистик и, при некотором навыке, исследователю достаточно будет просто посмотреть на значение F-критерия, чтобы сделать исчерпывающий вывод.

ГР: А я здесь готов согласиться с Вашим замечанием, Натан.

ВЛ: Стоит подчеркнуть, что описываемые вами в гл. 5 классический дисперсионный анализ (ANOVA) является параметрическим методом. Однако есть и многочисленные методы непараметрического дисперсионного анализа. Кроме того, не понимаю, почему при изложении двухфакторной модели Вы исключили из рассмотрения эффект взаимодействия? Здесь было бы уместно перейти от 2-х факторного анализа к многофакторному, указав на другие виды эффектов факторных взаимодействий.

ГР: Дисперсионный анализ родился в недрах биологии (Р. Фишер), тщательно прорабатывался биологами (Н.А. Плохинский) и считается основной математической доктриной биологии. Во многих случаях важно (с такой же необходимостью как клистир, прописываемый всем в "Бравом солдате Швейке") проверить гипотезу о влиянии на одномерную выборку того или иного качественного фактора, не прибегая к построению регрессии. Такова традиция, поэтому однофакторный ANOVA и все его детали должны быть растолкованы гидробиологу. Во всех пакетах прикладных программ дисперсионному анализу также уделяется достаточно важное место.

НЦ: Добавлю только: "гнетущая традиция"! (Со мной также согласны Н. Дрейпер и Г. Смит [1986]). У меня студенты мехмата не могли толком понять этот "клистир", пока я не начал его излагать в одном ключе с регрессионным анализом. Сразу всё стало просто и ясно.

По тексту раздела 5.2 я не во всем согласен с вашими выводами относительно статистик Бартлетта и Кокрена (мне они просто не нравятся, так как формулируются без альтернативной гипотезы). Лучше уж критерий Хартли – Дэвид (см. Дж. Себер [1980]), а ещё лучше (уж извините!) мой критерий, который я назвал критерием Фишера – Бонферрони. Не верно также мнение об ошибочности простого попарного сравнения групповых средних по Стьюденту (эта, так называемая "проблема Беренса – Фишера" давно решена). Но тут важно другое. Чтобы уйти от субъективного взгляда на частные методы и критерии, нужно каждую гипотезу проверять с помощью НЕСКОЛЬКИХ критериев, в том числе и непараметрических. Если ВСЕ критерии дружно дают малые Р-значения, значит разность безусловно достоверна! А наши внутренние статистические разборки – какой критерий мощней иного – только запутывают гидробиологов!

Далее, вы много раз повторяете формулировку: “Проверка гипотез о равенстве групповых средних”. Это принципиально неверно! Параметрические гипотезы проверяют относительно параметров (констант)! А средние - это случайные оценки параметров. Корректнее говорить “Проверка гипотез относительно центров распределения случайных величин” или “Проверка гипотез относительно математических ожиданий распределения случайных величин”.

ВШ: Несмотря на смешанные чувства от Вашей критики, она весьма полезна. Особенно по части необходимости точности формулировок. С точки зрения статистика Вы, безусловно, правы. Но, с позиций практического биолога, выражение “Проверка гипотез о равенстве выборочных средних”, как-то ближе к телу. А при реализации конкретных вычислений эти реверансы в сторону ритуальных статистических схем вообще кажутся бессмысленными. Например, Вы подходите к компьютеру с традиционной цепочкой предположений типа “Я хочу сравнить два центра распределения... Правда, я ничего не знаю о законе распределения генеральных совокупностей и не знаю как найти математические ожидания. Поэтому буду сравнивать их оценки в виде выборочных средних”. Компьютер пропустит Вашу "предобеденную молитву" и начнет сравнивать выборочные средние. Хотя, повторяю, Вы совершенно правы.

НЦ: Теперь замечания общего характера: на рисунках надо по возможности приводить доверительные интервалы. Популярно говоря, мы по случайно разбросанным точкам пытаемся воссоздать как бы один или два холма. Склоны холмов можно изобразить так, как изображают склоны гор на географической карте, т.е. в виде линий равного уровня значимости: 80%, 90%, 95% и 99-%! С компьютером это сделать просто. А эти “прямоугольники и усы” только путают некомпетентного читателя (а таких большинство)!

Далее, некоторые диаграммы плохо понятны. Не нужно рисовать логарифмы! Надо рисовать натуральные значения, но на полулогарифмической бумаге! И, наконец, за что мне нравятся медики – они любое утверждение подкрепляют Р-значением, а вы это делаете не всегда! И приводимые значения статистик округляйте до 2-3 значащих цифр, т.к. большая точность выглядит эдаким неуместным кокетством.

ВШ: Ваши замечания верны и исполнимы, но отложим их для будущих редакций. Хотя логарифмическая бумага выглядит некоторым анахронизмом. По-моему, все равно, что деформировать, оси координат или корреляционное поле…

Что касается излишней точности, то знаете, почему уважаемые фирмы продают, допустим, надувные матрацы за 1399.99 долларов? Учитывают психологию потребителя! А чем мы хуже?

НЦ: Вы сомневаетесь (стр. 227): “…следует ли учитывать в составе выборок нулевые значения, т.е. так называемую "частоту нулевого класса"…”. Насколько я помню, Е. Маркова лет 25 назад докладывала решение. У неё есть свой сайт. Можете проконсультироваться...

Граф связности категорий грунтов на рис. 5.9 мне не понравился. Если вы написали пособие для гидрологов, то этими критериями и линиями вы их совсем запутываете. Вместо того, чтобы просто, достоверно и однозначно ответить на конкретные вопросы.

ВШ: Этот граф мы привели как некоторую прелюдию к разговору в главе 7 о трансформации матрицы сходства в граф минимального пути, подготавливая читателя к "будущим забегам".

НЦ: В разделах 5.3-5.4 вы анализируете влияние сезонного фактора, выраженного календарным месяцем отбора пробы... Не могу не высказать сожаления, что вы не пользуетесь регрессионным анализом вместо дисперсионного. Тогда вместо календарного месяца можно было бы просто записать несколько базисных функций ряда Фурье, и ЭВМ сама бы выделила значимые члены, дала бы (количественную) регрессионную модель и не надо было бы приводить лишних таблиц. А вы получили бы удовольствие от количественной интерпретации регрессионной модели...

ВШ: Совершенно с Вами согласен. Я сам вздохнул с огромным облегчением, дописав разделы 5.1-5.4. Но примеры носили чисто методический характер для иллюстрации именно этих методов.

НЦ: Мне совершенно не нравится ваша постановка задачи регрессионного анализа (раздел 5.5). Почему речь идет о законе, а не о закономерности? Почему обе переменных должны быть измерены в количественных шкалах (это не обязательно)? Вы собираетесь “построить функцию f(X), которая приближенно описывала...”. Зачем приближенно? Надо требовать адекватность!

ВШ: Регрессия – “как много в этом звуке…” и столько разногласий! Нам близки воззрения М.М. Бонгарда, А.Г. Ивахненко и В.Н. Вапника. Есть объективный закон природного явления, который необходимо восстановить по эмпирическим данным. "Выборочная закономерность" – как-то слишком мелко и не стоит возни.

Регрессия выполнима только для количественных шкал, поскольку оперирует со средними, дисперсиями и проч. Вы, конечно, можете какую-нибудь порядковую или бинарную шкалу интерпретировать как количественную – воля и ответственность Ваша. А как Вы найдете среднее из величин, которые принимают, например, только два значения 0 и 1?

Помните, у Окуджавы: “Две спутницы верных: любовь и разлука, проходят сквозь сердце мое”. У регрессии – две стороны медали: адекватность как мера близости и вероятностность как мера удаленности. И та и другая выражаются суммой квадратов отклонений от линии регрессии. Здесь под словом “приближенно”, в отличие от детерминированного подхода, мы хотели подчеркнуть вероятностную суть любой регрессии.

НЦ: Вы часто употребляете термин “уравнение регрессии”. Так многие пишут, но это неверно. Следует писать “…в виде модели регрессии”. Попробуем разобраться не спеша.

Уравнением регрессионная функция бывает временно, когда она записывается в виде системы уравнений и решается относительно коэффициентов. В результате расчёта коэффициентов уравнение регрессии становится эмпирической функцией регрессии (ЭФР)! Такова корректная терминология.

ВШ: В рамках своей книги мы используем, казалось бы, вполне общепринятые понятия, входящие друг в друга как матрешки:

• Модель – некоторая система взаимосвязанных уравнений произвольного типа, воспроизводящих суть наблюдаемых процессов или явлений;
• Уравнение – форма представления задачи о поиске аргументов, при которых значения двух функций равны;
• Функция – некоторый математический оператор, описывающий преобразования аргументов.

Уравнение является частью модели, т.к. последняя может являть собой систему уравнений. Уравнение обычно состоит из двух или более функций. Функция – одноместное понятие, не содержащее символ “=”, и представляет собой обычно правую часть уравнения регрессии. Обратимся, в частности, к “Большой Советской энциклопедии”: “Цель регрессионного анализа состоит в определении общего вида уравнения регрессии, построении оценок неизвестных параметров, входящих в уравнение регрессии, и проверке статистических гипотез о регрессии” (статья со ссылкой на Г. Крамера [1975], Н. Дрейпера и Г. Смита [1986]). Т.е. БСЭ ведет речь исключительно о "регрессионных зависимостях" и ничего не говорит о "функциях регрессии". Вряд ли можно предположить, что БСЭ не права – статьи там писались высочайшими профессионалами и тщательно редактировались.

Существующие традиции статистики требуют некоторой чисто ритуальной преамбулы типа “Пусть где-то (непонятно где) существует некоторая генеральная совокупность данных или истинная функция регрессии. Мы о них ничего не знаем, поэтому…”. Но вряд ли этот процесс умозаключений очень интересен практикам. Им хочется просто взять быка за рога и на основе набора эмпирических данных рассчитать коэффициенты приближенного, но адекватного уравнения регрессии, которое можно было бы использовать для предсказания или управления.

ВЛ: Очень важно более четко сказать об основных предпосылках регрессионного анализа и о степени влияния отклонения от этих требований: Привожу кратко все семь "заповедей от регрессии" со ссылкой на книгу И. Вучкова с соавторами [1987]:

1. Ошибки (невязки) есть случайные величины.
2. Ошибки имеют нулевое математическое ожидание.
3. Все значения ошибок не коррелируют между собой и имеют одинаковые дисперсии (условие гомоскедастичности; это предположение в гидрологии, в связи с сезонностью, может нарушаться, особенно в данных, представляющих собой временные ряды).
4. Ошибки имеют нормальное распределение.
5. Матрица регрессоров F не случайна, т.е. ее элементы - известные числа, точно заданные исследователем.
6. На параметры уравнения регрессии априорно не накладывается никаких ограничений.
7. Матрица регрессоров F имеет ранг равный числу коэффициентов в уравнении регрессии.

Если все эти предположения выполняются, то имеет место случай классического РА независимо от метода оценки коэффициентов.

ДФ: Это стандартное заблуждение, что для метода наименьших квадратов (МНК) необходима нормальность распределения случайных ошибок зависимой переменной Y, то есть разностей Y-(a+bX). У В.Н. Вапника несколько десятков нудных страниц посвящено доказательству теорем, главным итогом которых является то, что среди распределений с одинаковой дисперсией нормальное является экстремальным (в определённом смысле, самым плохим) и, используя его, мы можем только перестраховаться, занизить значимость результата. Требование нормальности всего лишь удобно для легкого доказательства некоторых статистических теорем, но линейная регрессия по МНК может излагаться и с позиций функционального анализа, и вообще сама по себе. Получаемые результаты не зависят от доказательства нужных для остепенения теорем. В век быстрых компьютеров можно использовать метод стохастической аппроксимации, который, по сути, бóльшую часть классической статистики со всякими распределениями, параметрическими оценками и т.п. отправляет просто "в корзину", оставляя лишь фундаментальные понятия и теоремы.

NN: (Из рецензии "Журнала общей биологии" на нашу статью, указывающую на некорректность сведения степенных уравнений энергетического обмена к линейной форме – см. пример к разделу 5.5): Теоретически проблема некорректности линеаризаций, возможно, и существует. Но при практическом применении обоих видов анализа к большим массивам данных, оказывается, что различия в оценках параметров находятся в пределах статистических ошибок.

ВШ: Возможно, Вы правы, но лишь только потому, что стандартные ошибки коэффициентов энергетических уравнений весьма высоки (хотя вопрос о том, насколько существенны различия, всегда достаточно субъективен). Но в нашей работе речь идет не о том, насколько "неверный" результат близок к "верному", а о том, как методологически правильно выполнить расчет. А выводы пусть делают гидробиологи, имеющие необходимые экспериментальные данные.

NN: Уравнение, описывающее эмпирические данные по интенсивности дыхания ракообразных от массы тела, Г.Г. Винберг предлагал в середине 50-х годов. Тогда это было блестящее исследование. Надо бороться с неряшливой математикой, но надо ли ворошить прах усопших, тем более, когда они были действительно выдающимися учеными.

ВШ: Такие глубоко почитаемые нами ученые как Г.Г. Винберг и А.А. Умнов, заложили основы научного мировоззрения, связанного с расчетом энергетических балансов. Но они не могли не ошибаться в некоторых второстепенных частностях (особенно, в методах статистической обработки, которые лимитировались уровнем технического обеспечения того времени). Мы считаем моральным долгом перед их памятью и проявлением бережного отношения к научному наследию (а не желанием "ворошить прах усопших") обсудить с научным обществом эти неточности, чтобы использовать в дальнейшем более корректные подходы в соответствие с духом времени.

NN: То, что полином "лучше" опишет любую зависимость – очевидный и наперёд известный результат (у полинома больше параметров). Но "лучше", не всегда "верно". Что же касается цитаты из статьи Г.Г. Винберга, то, по крайней мере, в использовании степенного уравнения для описания зависимости метаболизма от массы тела он оказался полностью прав. Достаточно посмотреть последние публикации за 3 года, чтобы увидеть большое число моделей, предсказывающих не только степенной вид зависимости, но и значения коэффициентов (см., например, [West G.B. et al., 1999] и др.). Вряд ли стоит опубликовывать свои взгляды на эту "проблему", апеллируя к состоянию науки 26 лет назад.

ВШ: Совершенно непонятно, что Вы понимаете в статистике под словом “верно”. Обычно верной моделью из двух возможных претендентов считается та, что более точна (адекватна) по отношении к эмпирическим данным (разумеется, с учетом параметричности расчетного уравнения, для чего существуют специальные статистические критерии). И уж никогда массовость какого-либо предположения не была свидетельством его верности. Вместе с тем, традиционно (см. главу 2) принято различать модели для объяснения (относительно простые модели, к которым не предъявляются требования оптимальности, но, в силу их широкой распространенности, пригодные для поиска общих гипотез) и модели для прогнозирования (более сложные и точные модели). Не имея ничего против степенного уравнения как модели для объяснения, мы показываем, что не только верными, но и более удобными моделями для целей прогнозирования могут являться и иные структурные версии (причем, не обязательно полиномы).

ГР: Добавлю от себя. В связи с различением в разных моделях объяснения и прогнозирования для сложных систем можно предложить такую дихотомическую схему [Брусиловский, Розенберг, 1981б; Розенберг, 1984, 1989]: различать праксеологичность (количественная "точность") и собственно адекватность (качественная "точность"). Тогда, регрессионные модели служат, в основном, целям прогнозирования и могут вообще не отражать ни структуру, ни механизм функционирования моделируемой сложной экосистемы и будут хотя и полезны для практики в силу количественной точности своих прогнозов, но не адекватны реальным объектам в гносеологическом смысле. Для аналитических моделей (типа Вольтерра), напротив, нельзя говорить о праксеологичности (так как при их построении исследователь идет на ряд существенных упрощений, модели основаны только на априорной информации и пр.), но имеет смысл говорить о гносеологической адекватности. Думается, именно здесь лежит непонимание NN, который пытается в модель Г.Г. Винберга "вложить" и адекватность, и праксеологичность, что для сложных систем недостижимо.

Критерии оценки адекватности и праксеологичности моделей достаточно многочисленны, но и их также следует разделить на два основных класса: внутренние и внешние. Если для оценок праксеологичности моделей такое разделение достаточно очевидно (внутренние критерии основаны на той же информации, по которой строилась модель [МНК], а внешние – на новой [МГУА]), то для оценки собственно адекватности моделей такое разделение дать сложнее. Можно считать, например, что внутренними критериями являются теоретические предпосылки самой экологии или гидробиологии (численность популяции не должна быть отрицательной…). Тогда внешние критерии следует искать в области математики и математического анализа моделей экосистем.

НЦ: Методы структурной идентификации – это колоссальная наука, даже искусство! Сперва следует подобрать и обосновать структуру регрессии, включающую все подозреваемые факторы и соответствующие базисные функции, а только потом выбирать наилучшее в каком-то смысле подмножество базисных функций. А у вас он сведен только к выбору наилучшего подмножества базисных функций; в каком смысле – не ясно. Например, теория подобия даёт структуру мультипликативных функций регрессии при описании процессов в движущейся среде, в частности – гидродинамики процессов массопереноса. Можно подобрать дифференциальные уравнения этих процессов, интегралы которых и дают ОБОСНОВАННУЮ теорией структуру регрессионной функции, известную с точностью до параметров, которые, в свою очередь, и определяются по экспериментальным данным. Что-то похожее есть, вероятно, и в гидробиологии. Там же следует упомянуть ортогональные полиномы Чебышева, сплайн-функции, функции Фурье и многие другие.

ВШ: Массопередача в сплошных средах – явление на несколько порядков более простое и предсказуемое, нежели взаимодействие популяций между собой и со средой. Единственный путь статистического моделирования экосистем – самоорганизация моделей. А для этого нужно сформулировать разумные критерии селекции и предоставить необходимые степени свободы выбора базисных функций, в том числе, и "экзотических". Об этом подробно – в главе 9.

НЦ: Вы пишете, что “принципиально нельзя ограничиваться одной регрессионной моделью”? Иногда (и, даже, почти всегда) можно! Той, что адекватна (по ошибке воспроизводимости), имеет значимые коэффициенты регрессии и базисные функции, наиболее близкие к ортогональной системе. Иными словами, лучшей из эмпирических адекватных функций регрессии является менее сложная.

ВШ: Стоп!!! Качество любой модели регрессии определяют две конкурирующие величины: сумма квадратов отклонений от регрессии (СКО) и число степеней свободы, вернее, количество регрессоров (КР). Первый показатель отражает адекватность, второй – сложность. Увеличивая (КР), вы снижаете (СКО). Налицо – задача нахождения экстремума или модели оптимальной сложности.

НЦ: СКО – не интерпретируемая статистика. Вот если СКО поделить на число степеней свободы, получим интерпретируемую статистику – остаточную дисперсию. А если мы оценим дисперсию воспроизводимости (ДВО) отклика – получим оценку ошибки отклика. Модель регрессии, остаточная дисперсия погрешности которой не превосходит статистически дисперсию ошибки воспроизводимости отклика, и будет адекватной (см. литературу).

ВШ: Для существа задачи оптимизации различные функциональные формы статистик СКО, СКО/КР или (ДВО - СКО/КР) являются эквивалентными.

НЦ: ДВО не определяется как СКО/КР!

ВШ: Давайте четко различать, какую задачу мы перед собой ставим. Пусть есть 1 этап – оценка адекватности каждой из L рассчитанных моделей в отдельности – тут есть стандартная "кухня" интерпретируемых статистик: критерии Стьюдента, Фишера и проч. Но мы говорим о втором этапе – выборе "наилучшей" модели из L различных реализаций, каждая из которых уже прошла на 1-м этапе тест на адекватность. Ни F-критерий, ни остаточная дисперсия тут не могут являться тестом на "наилучшесть", поскольку МОНОТОННО уменьшаются с увеличением сложности.

НЦ: Остаточная дисперсия в процессе расчётов методом включения обычно уменьшается с увеличением сложности, то есть, с возрастанием числа значимых регрессоров, но затем, при появлении мало значимых или вовсе незначимых регрессоров, проходит через минимум и возрастает.

ВШ: Такое далеко не всегда. Гораздо чаще СКО стремится к нулю: например, увеличивая степень полинома, вы придете к тому, что кривая точнехонько объедет все экспериментальные точки. Но подобная причудливая модель ни у кого не вызовет интереса. Нужно придумать что-то иное, основанное на той же "сладкой парочке" (КР и СКО). Интересные критерии, например, предлагает В.Н. Вапник [Алгоритмы и программы.., 1984].

Впрочем, мы начинаем повторяться или длиннотно обсасывать терминологические изыски.

НЦ: Это мы зря. Надо идти вперёд – к новым длиннотам и изыскам! Например, вы не вполне точно понимаете “адекватность”. Все время в тексте, проверяя по Фишеру гипотезу об информационной способности модели регрессии, вы говорите об адекватности. Это же разные вещи!

ВШ: В общенаучном смысле “адекватность (от лат. adaequatus – равный) – термин, который служит для обозначения верного воспроизведения объективных связей в представлениях, понятиях и суждениях” [БСЭ]. В статистическом смысле один из тестов на адекватность – проверка на однородность двух дисперсий: воспроизводимости и остатков. Мы имеем полное право предположить, что дисперсия воспроизводимости отклика оценивается как его среднеквадратичное отклонение. Тогда, в определенном смысле, упомянутые Вами гипотезы – одинаковые вещи!

НЦ: Дисперсия воспроизводимости отклика оценивается как квадрат среднеквадратичного отклонения ошибки воспроизводимости отклика.

ВШ: Самое сложное в биологии – это понять, что есть “воспроизводимость” и его ошибка. Что, например, есть воспроизводимость роста человека, как не все множество его возможных значений?

НЦ: “С чего начинается Родина”, т.е. регрессионная модель (РМ)? С области определения факторного пространства и с области значений для отклика. А в ваших примерах их нет! Надо оконтурить область Е определения РМ хотя бы через минимумы и максимумы факторов! Правда при пассивном эксперименте область определения Е, как правило, не образует прямоугольную фигуру (точнее, гиперпараллелепипед). Например, при корреляции двух факторов областью Е может быть эллипс, сильно вытянутый вдоль случайно ориентированной главной оси. Задавая в таком случае область определения Е в виде прямоугольника, мы ошибемся, если включим в нее подобласти, на самом деле не принадлежащие Е. Эту задачу рекомендуется решать просто и правильно, чтобы полученные регрессионные функции не приводили к существенным ошибкам в периферийных точках факторного пространства. Я не знаю, где еще пишут о сложной задаче окаймления области определения РМ, поэтому можно сослаться на раздел 6 в моей монографии.

ДФ: Вы пишете, что в регрессионном анализе “размерность признакового пространства практически не должна превышать 150-200, иначе возникают трудности вычислительного характера при матричных преобразованиях”. В книге Дж. Себера [1980], едва ли не исчерпывающей эту тему, описан модифицированный алгоритм Грама-Шмидта, успешно применяемый мною к матрицам из 1000 признаков и около 40000 объектов. Не надо с матрицами манипулировать, надо лишь решать свою задачу. Кстати, спектр возможных базисных функций гораздо шире, чем рекламируемый вами полином Колмогорова-Габора. Хотя многие из них, действительно, могут быть приближены полиномами. Но для одних – это очевидно, а для других – не нужно.

ВШ: Спасибо, коллеги. Наш диалог о регрессии – это ловкий слалом между вехами истин и заблуждений. Но давайте пойдем дальше.

ВЛ: Вы совершенно справедливо подчеркиваете, что результат, полученный при использовании кластерного анализа, является одним из возможных. Любое найденное разбиение необходимо сравнить с аналогичными результатами, полученными с применением других комбинаций метрик, алгоритмов объединения и т.д., а также с результатами использования других методов анализа данных. Следует убедиться самому и суметь убедить в этом своих оппонентов, что полученная классификация является оптимальной.

ГР: Нельзя забывать и о целях классификации. Свою библиотеку я могу "расклассифицировать" в соответствии с авторским или предметным указателями, или по цвету корешков книг…

ВШ: Гидробиологические данные – элементы размытых множеств с отсутствием четких границ и поэтому результат их кластеризации неустойчив к стратегии агломерации и задаваемой метрике. При этом нельзя сделать никаких априорных предположений ни о распределениях данных, ни о том, что должно получиться в итоге.

Пусть, например, мы имеем 25 классифицируемых объектов. Кроме того, мы имеем обычно не менее 5 общеупотребительных метрик и не менее 5 алгоритмов построения иерархической классификации. В результате для 25 объектов мы получаем 25 возможных вариантов разбиений (т.е. деревьев). Не подменяем ли мы неопределенность данных неопределенностью деревьев, еще более туманной и приводящей в ужас не только осла Буридана?

И мне видятся тут такие проблемы, требующие решения:

• раз уж мы получили 25 различных деревьев, то надо хотя бы оценить, значимо ли они отличаются друг от друга. Провести, своего рода, кластерный анализ результатов кластерного анализа. Каким методом можно оценить близость (предупорядоченность) двух произвольных деревьев из одних и тех же "листьев"?
• если нет метода сравнить два дерева, то как вообще можно сравнить две возможные версии кластеризации (например, оценить близость двух исходных матриц расстояний)?
• на основании какого критерия можно оценить, насколько одна классификация лучше другой?

ВЛ: Ничего не поделаешь - весь жизненный опыт человечества показывает, что в конечном счете применение новых, более совершенные методов анализа увеличивает количество информации об одном и том же объекте. Это, так сказать, общеметодологический аспект.

В нашем же случае (25 объектов, 5 метрик и 5 алгоритмов) ответ еще более очевиден. Во-первых, выбор метрик и алгоритмов не произволен, а имеет вполне целенаправленный характер, учитывающий априорную информацию о природе кластеризуемых объектов. Во-вторых, верифицируемость решения следует проверять по его предсказательной способности. А в этом случае, согласно теории байесовских оценок, мы получаем более точную оценку наших вероятностей (имеется в виду вероятности выбора решения).

ВШ: Не хотелось бы комментировать упоминание о мистической "предсказывающей способности" при кластеризации. Любой класс, агрегат, кластер, полученный по технологии "без учителя" и состоящий из некоторого подмножества реальных объектов, – всегда умозрительная теоретическая конструкция, которую принципиально невозможно точно измерить, а, следовательно, оценить качество предсказания. Например, В.И. Ленин разделил все человечество на эксплуататоров и эксплуатируемых, последних – на пролетариат и крестьянство, а последних – на кулаков, середняков и бедняков… В результате его "кластеризации" и "прогностической" операции одинаково перестреляли и тех, и иных. Но, к счастью (?), он имел большую обучающую выборку…

ВЛ: Уважаемый коллега Владимир Кириллович! Вряд ли Ваш аргумент достаточно убедителен. Не думаю, что стрельба началась от того, что "вожди всех времен и народов" поделили все человечество на группы. В этом убеждает вся история человечества еще до появления Ленина. “После того, не значит вследствие того”.

Далее, аргумент относительно предсказательности следует понимать в контексте всей остальной информации о свойствах объектов. Т.е. наличие группировок при анализе одного набора признаков означает высокую вероятность аналогичных группировок и при использовании других наборов.

ВШ: Давайте поближе к реальности. Допустим, что пять друзей-гидробиологов вышли на берег Женевского озера и в 25 его точках отобрали пробы зообентоса. Получили прямоугольную матрицу наблюдений и никаких особенных априорных вероятностей при этом не испытали. И решили выполнить кластеризацию объектов. Один исследователь с традиционным образованием сформировал матрицу коэффициентов сходства 25х25, используя классическую в гидробиологии меру сходства Съеренсена, учитывающую только факт присутствия или отсутствия каждого вида бентоса. Другой, прочитавший на пару книг больше, рассчитал ту же матрицу, применив традиционное для программы STATISTICA евклидово расстояние численностей видов. Третий – перевел численности видов в некоторые баллы обилия и избрал манхэттенское расстояние. Четвертый вычислил коэффициенты парной корреляции рангов по Спирмену. Пятый – используя метод главных компонент, свернул пространство видов до 5 главных факторов и вычислил евклидово расстояние в пространстве факторов. Получилось пять матриц сходства с некоторой вариабельностью предупорядоченности изученных объектов и, следовательно, пять различных деревьев иерархической классификации одних и тех же станций (даже расклассифицированных одним методом!). Предположим, они начали спорить, отстаивая каждый свою точку зрения и вызывая тень отца Байеса в надежде получить от него априорные вероятности. Но их дискуссия оказалась тщетной, поскольку не нашлось критерия, который бы оценивал, какой "результат является оптимальным (см. В. Леонова)", а тень отца Байеса безмолвствовала.

Выход я вижу один – считать все пять деревьев результатом работы 5 экспертов и искать синтез некоторого коллективного разбиения. Но, для этого необходимо научиться оценивать, насколько близки друг другу два результата классификации, т.е. два дерева. Это дает возможность некоторому обработчику результатов сказать “ребята, вы напрасно спорите, все ваши деревья можно считать эквивалентными” или “вот вы трое получили очень близкие деревья, а приверженцы, предположим, Съеренсена и Спирмена могут пока отдохнуть”.

ГР: Действительно, получить картину "порядка" (априорные вероятности) зачастую невозможно, а вот создать "беспорядок" кажется более простой задачей. Задача автоматической классификации всегда может быть сведена к задаче диагонализации матрицы связи классифицируемых объектов. Тогда в матрице "порядка" вдоль диагонали стоят выделенные "блоки" сходных объектов. Можно представить процедуру диагонализации исходной матрицы как определение такой последовательности объектов (или признаков), которая бы минимизировала некоторую меру уклонения (меру диссонанса, [Лефевр, 1973; Розенберг, 1975]) этой матрицы от эталонной. Вот здесь, в качестве эталона и появляется "беспорядок" – исходная матрица, все строки и столбцы которой перепутаны случайным образом. Лучшей можно будет считать ту классификацию, для которой мера диссонанса между организованной матрицей и эталонной матрицей "беспорядка" (или средней из нескольких матриц "беспорядка") будет больше. Ясно, что предлагаемая процедура – эвристична, но ничего другого мне не известно…

ВЛ: Я не исключаю, что в теории графов возможно и есть такие варианты сравнения. Лично мне они также не известны. Однако я не могу согласиться с тем, что выход только один или два. При анализе данных нами выработан своеобразный стандартный набор приемов. Например, лично я в аналогичных ситуациях очень часто использую непараметрический дискриминантный анализ с локальной оценкой плотности распределения. Среди этих приемов есть и обязательный анализ таблиц сопряженности при кластеризации по количественным признакам и по дискретным качественным. Так что Вы зря иронизируете относительно предказательности!

ВШ: Насколько я понимаю, частотные таблицы сопряженности могут быть использованы, когда (и только когда) на входе имеется матрица наблюдений из двух признаков, измеренных в порядковых шкалах не слишком большой дискретности (nxm < 100, где n и m – число градаций признаков). Как их можно использовать для сравнения классификаций, мне абсолютно непонятно.

ВЛ: Я имел в виду многомерные таблицы сопряженности. Обозначаем принадлежность отдельных наблюдений отдельным ветвям и узлам каждого из 5 полученных деревьев. Вот Вам и 5-мерная таблица сопряженности. Далее вполне возможно в этом случае использовать, например, анализ соответствий Бензекри-Гуттмана.

ВШ: Нет ли более или менее полной публикации, описывающей технологию таких расчетов?

ВЛ: Нет, такой публикации нет. Каждая работа над отдельным массивом – это всегда творческая работа и комбинации методов, как правило, отличаются друг от друга. Различаются как исходные массивы и задачи исследования, так и доступный набор статистических методов (пакетов). Спектр последних со временем расширяется – например, сейчас я активно использую через telnet статистические пакеты, установленные в США, в частности в Лос-Анджелесе. И хотя за это удовольствие приходится платить в USD, но зато имеешь доступ к мощным средствам.

Надо сказать, что анализ таблиц сопряженности вообще недооценивают большинство исследователей. А, между тем, он очень многое может идентифицировать! Анализ таблиц сопряженности можно (и нужно!) использовать для любых видов дискретных признаков. Сам анализ с виду прост и несложен, но его нюансы видны только профессионалу, глубоко знающему теорию метода. Прелести этого анализа – в переходе от 2-х признаков к большему их числу. Вычислительные сложности здесь огромнейшие, а программных реализаций отбора наиболее оптимальных вариантов нет. И хотя теория известна уже более 100 лет, большинство пакетов дальше самых элементарных операций этой теории не идут. Я сейчас пытаюсь сделать некоторые надстройки для более глубокого анализа таких таблиц. Но дело это очень трудоемкое и необходимо много времени потратить на программирование и отладку этих алгоритмов.

ГР: Здесь следует остановиться еще на одном аспекте количественных методов (не только в гидроэкологии) – то, что я называю “индексологией”. Во второй главе мы говорим о том, что “весь смысл математической обработки многомерных таблиц наблюдений заключается… в редукции данных или понижении размерности признакового пространства типа "объект-признак"”. Такое "схлопывание информации" по В.В. Налимову приводит к применению и в научных исследованиях, и в действующих методиках биологического мониторинга множества разнообразных индексов, за которыми пытаются закрепить либо новую информационную сущность (индекс Шеннона – хотя, это не так), либо обобщение квалифицированных экспертов (индекс Вудивисса), либо "нечто этакое…" (подавляющее большинство "придуманных" индексов). И здесь в мнениях не сходятся даже соавторы. Так, Владимир Кириллович ратует за использование, в частности, индекса (N_*B)^0,5, где N – численность, а В – биомасса организмов (см. стр. 66). В разделе 2.1 мы отмечали, что сложные системы обладают простыми (аддитивными) и сложными (неаддитивными) свойствами. В рамках "индексологии" иногда удается описать тем или иным эвристическим способом именно простые свойства сложных систем. Самый наглядный пример – введение Г. Омом без колебаний и особенных теоретических обоснований показателя “сопротивление” путем деления напряжения (в вольтах) электрической цепи на силу тока (в амперах), что позволяет нам в течение 175 лет успешно пользоваться этой никем не измеренной и имеющей (в данном контексте) сомнительный "реальный" смысл величиной. Этот показатель (как и величина индекса (N_*B)^0,5) были бы более "реальными", если бы они "вытекали" из некоторой оптимизационной модели. Например, (N_*B)^0,5 является максимумом функции 2/3(N_*B)^3/2 . К сожалению (к счастью?) я не могу придумать модель, которая приводила бы именно к такому виду "взаимодействия" численности и биомассы…

Нельзя забывать и о том, что различные индексы сопряженности и сходства отражают различные "аспекты связи". В книге мы говорим об этом, но еще раз поясню. Например, коэффициент линейной корреляции (в показателях 4-хпольной таблицы; см. формулу 7.3) существенным образом зависит от, так называемого, d-эффекта, т.е. от числа описаний, в которых оба сравниваемых вида отсутствуют. Причем, этот эффект достигается либо когда виды действительно "не хотят" встречаться по каким-то экологическим соображениям, либо у них существенно различается встречаемость (пальма и берёза в Тольятти). Таким образом, если мы определяем корреляцию между длиной хвоста и шириной ушей у кошек, мы должны быть уверены, что у всех наших объектов есть и уши, и хвост. К сожалению (для коэффициента корреляции), виды в природе имеют разную встречаемость и достичь значимой сопряженности можно увеличивая значение клетки d.

ВШ: В разделе 8.4 мы предлагаем некоторый новый алгоритм оценки индикаторной значимости видов на основе матрицы Р частот встречаемости i-го признака в k-м классе. Я не знаю никаких литературных ссылок, где бы описывался сколько-нибудь похожий алгоритм классификации, кроме нескольких малоизвестных работ и реально действующей системы PASS. К какому разделу распознавания образов или иной математики относится этот метод – нельзя ли помочь с терминологическими тонкостями?

ДФ: Раскладывание по полочкам – это, скорее, в корпоративных интересах узких специалистов. Опыт показывает, что одну и ту же, абсолютно одинаковую математику разные кланы от наук называют, записывают и интерпретируют по-разному, хотя практические результаты получаются одинаковыми. Например, есть частотная вероятность по Мозесу или аксиоматическая по Колмогорову, а есть ещё, кажется, Шметтерер, который вообще всю статистику выводит из определения средней величины, употребляя слово “вероятность” только, разве что, в ругательном смысле. А квантовая механика по Шрёдингеру, по Гейзенбергу, с интегралами по траекториям Фейнмана? Где даже наши доблестные философы немало копий наломали, причем и по судьбам ученых! Но потом математики напряглись и доказали абсолютную тождественность всех версий, так что квантовая механика теперь у нас одна. Таких примеров не счесть! Да и этих "полкораспределителей" сколь угодно – чего стоит один многотомник Айвазяна "Прикладная статистика", где каждое третье слово непонятно, а в каждой второй формуле – ошибка.

Все ваши алгоритмы вытекают непосредственно из байесовского подхода (именно, подхода, а не формулы, т.к. подход – это целая идеология, включающая и формулу Байеса). На самом деле, мне очень трудно придумать случай, не сводимый к байесовскому подходу, потому что надлежащим выбором платёжной матрицы и априорной вероятности можно добиться почти всего. Например, можно изложить в свете этой идеологии метод максимума правдоподобия.

NN: (Из рецензии журнала "Известия Академии наук", сер. биол. на отклоненную статью по материалам раздела 8.4). Все же: чем предлагаемый метод "обобщенного портрета" лучше, чем хорошо и давно известный метод дискриминантного анализа, который содержится во всех пакетах статистической обработки данных (STATISTICА, SPSS, STATGRAPHICS и т.п.). У меня создается впечатление, что определенными преимуществами обладает именно дискриминантный анализ.

ВШ: Чтобы расширить спектр впечатлений, попробуйте на досуге выполнить дискриминантный анализ сильно разреженной матрицы размерностью, скажем, 250х300, которая на 95% заполнена нулями (а именно таковы, чаще всего, гидробиологические, фитоценологические и пр. данные). Негативные эмоции Вам гарантированы.

Кроме того, нельзя ограничивать круг разрешаемых к использованию математических методов только пакетами общего назначения, иначе остановится прогресс (громко сказано, но верно по сути). Кстати, индекс Шеннона или меру сходства по Сьеренсену тоже нельзя рассчитать ни в пакете STATISTICA, ни в других, но они почему-то широко используются в биологии.

NN: Судя по вашему тексту, метод обобщенного портрета, кажется, вообще игнорирует существование теории вероятностей и статистики и даже метода наименьших квадратов.

ВШ: Действительно, он основан на другой теоретико-вероятностной теореме – теореме Гливенко о равномерной сходимости частот появления событий к их вероятностям, которую математическая наука считает не менее глубокой, чем, например, принцип максимального правдоподобия. Строгому обоснованию метода обобщенного портрета посвящено несколько сот страниц [Вапник, Червоненкис, 1974], в том числе, вполне корректной проработке теорем о вероятности ошибки коэффициентов при построении оптимальной разделяющей гиперплоскости. Полагая, что ученым-экологам будут не слишком интересны чисто математические аспекты, мы сделали акцент исключительно на практической реализации метода, отослав желающих к специальной литературе (к сожалению, таких желающих не оказалось даже среди рецензентов).

ВЛ: Кстати, сейчас большое развитие в области распознавания образов получают методы ресэмпинга для получения асимптотических оценок. Кроме МНК есть и другие методы оценок параметров уравнений – наименьших модулей, ортогональная регрессия и пр. Математика и статистика продолжают бурно развиваться!..

NN: Фраза на с. 10 (в рецензируемой статье. – Ремарка наша): “Модель смогла построить решающее правило, только предварительно исключив из рассмотрения 14 объектов обучающей выборки” – вызывает, по меньшей мере, изумление. Это все равно, что при регрессионном анализе выбрасывать все точки, не укладывающиеся на аппроксимируемую кривую!

ВШ: Это исключение так же естественно, как выход некоторых экспериментальных точек за пределы доверительного интервала ("трубы", а не аппроксимирующей кривой) относительно линии регрессии. Не правда ли, Натан?

НЦ: Выход экспериментальных точек за пределы доверительного интервала, построенного вокруг линии регрессии, совершенно правомерен. Доверительный интервал строится не для экспериментальных точек, а для условного математического ожидания отклика. Большинство (скажем, 99%) экспериментальных точек лежат в пределах области допустимых значений отклика (с заданной вероятностью, скажем, 95%). Но и то некоторые точки “имеют право” выпрыгивать за границы этой области. И только 1 – 2 “выброса” могут вызвать у нас подозрение в том, что они не принадлежат к изучаемой совокупности. Их наличие проверяют по критериям “выброса” (например, Груббса).

ВШ: Так и тут, невозможно разделить плоскостью взаимопроникающие "облака" точек двух классов, не отбросив в ходе оптимизирующих операций несколько (~ 5%) точек, препятствующих разделению.

NN: Приведенный пример для р. Чапаевка (бывшая Мóча) выглядит не слишком убедительным: на протяжении всего нескольких десятков километров по течению реки на станциях с 6 по 9 "экологическая стабильность" дважды сменяется на "экологический кризис" и обратно и при этом авторы равнодушно замечают, что на этом участке реки “...происходит естественное и стабильное развитие зообентоса, несмотря на отмеченные там процессы антропогенного эвтрофирования”.

Одномоментная съемка не может в принципе дать оценку стабильности, если иметь в виду относительное постоянство структурных и функциональных характеристик системы во времени. Представляется также крайне сомнительным, что о "развитии зообентоса" можно судить только по видовому составу личинок хирономид. И почему появление в зообентосе, скажем, Glyptotendipes glaucus и Procladius ferrugineus – это признак неестественного развития зообентоса ("экологический кризис"), а обнаружение в пробах Ablabesmia monilis и Cricotopus bicinctus – это признак благополучия?

ТЗ: Хотелось бы в этот хор статистиков добавить и слово практика-гидроэколога.

В рамках нашей книги мы не стремились (да и не смогли бы) убедить педантичного читателя ни в отменных биоиндикационных свойствах отдельных видов личинок хирономид (хотя это – установленный в биологии факт), ни в возможности изменения видовой структуры зообентоса по течению реки среднего размера (хотя абсолютно не понятно, кто способен сомневаться в том, что существует не только временнáя динамика, но и пространственная динамика [неоднородность] экосистемы от истока к устью).

А если уж конкретно по четырем названным видам, то первые два индицируют процесс эвтрофирования участков р. Чапаевки, а вторые, реофильные виды характерны для водоемов с проточной и чистой водой. По-настоящему заинтересованный читатель может обратиться к многочисленным источникам:

• обширной литературе по проблемам и методам биоиндикации и оценке качества вод по зообентосу (в том числе и по хирономидам – например, [Зинченко, 2002]);
• цитируемым первоисточникам по реке Чапаевка (Мóча), чтобы по подробнее познакомиться с изучаемым объектом и объемом проведенных исследований (см., например, [Экологическое состояние.., 1994]).

NN: Авторы так и не определили, что именно они имеют в виду под терминами “качество экосистемы”, “стабильность экосистемы” и “кризисность экосистемы”. В отсутствие этих определений остается совершенно непонятым, какое отношение к этим терминам, допускающим далеко не однозначное толкование, имеет сугубо математическая конструкция – расстояние от точки в пространстве признаков до разделяющей гиперплоскости.

ВШ: А какое, кстати, имеет отношение стрелка пружинного барометра к такому ёмкому и неоднозначному термину, как “погода”? Если бы мы могли точно сформулировать термины “качество”, “стабильность” и “кризисность экосистемы” и предложить фундаментальные способы их количественной оценки, экологическую науку можно было бы закрывать за неимением проблемных тем. Эти термины мы использовали не в рамках "мирозданья вообще", а исключительно в рамках предположений нашей модели: чем больше величина отклика модели, тем выше качество экосистемы.

ТЗ: А все-таки, нельзя ли определеннее сказать, как мы относимся к "индексам": на протяжении всей книги мы их то ругаем, то (тут же) признаем их прогностическую силу…

ВШ: Как отдельный феномен, каждый индекс (и любой другой частный показатель) ограничен и малоэффективен, но в рамках многофакторных моделей их роль весьма позитивна.

ВЛ: Уверен, что раздумья над противоречиями и сопоставление аргументов и контраргументов – лучший способ найти некую новую систему взглядов на любую проблему, в том числе и эту.