Необходимо решить задачу регрессии, целью которой является оценка по матрице входных переменных параметров функции выходной переменной, принимающей непрерывный диапазон числовых значений.

Как показано в главе 1.5, простейшей из масштабирующих функций, сводящей переменные сети к "приемлемому" диапазону, является минимаксная функция: она находит минимальное и максимальное значение переменной по обучающему множеству и выполняет линейное преобразование так, чтобы значения лежали в нужном диапазоне, как правило, на отрезке [0,1]. Если эти действия применяются только к измерениям обучающей выборки, то есть гарантия, что результаты преобразования попадут в область возможных выходных значений сети. Сеть может быть обучена, но выход сети будет находиться в определенных границах, пересечение которые будет пресекаться.

В предыдущем разделе было описано, как многослойный персептрон моделирует функцию отклика с помощью функций "сигмоидных склонов". Столь же естественным является подход, основанный на разбиении пространства окружностями или, в общем случае, гиперсферами, которые задаются своим центром и радиусом. Поверхность отклика такого радиального элемента представляет собой гауссову функцию колоколообразной формы, с вершиной в центре и понижением к краям (см. рис. 9.12). Наклон гауссова радиального элемента можно менять подобно тому, как можно менять наклон сигмоидной кривой в персептроне.

В предыдущем разделе, говоря о задачах классификации, мы упомянули о том, что выходы сети можно интерпретировать как оценки вероятности того, что элемент принадлежит некоторому классу, и сеть, фактически, "учится" оценивать функцию плотности вероятности. Аналогичная интерпретация может иметь место и в задачах регрессии – выход сети рассматривается как ожидаемое значение модели в данной точке пространства входов, связанное с плотностью вероятности совместного распределения входных и выходных данных.

Задача оценки плотности вероятности имеет давнюю историю в математике и относится к области байесовой статистики. Возможный подход к оценке плотности вероятности основан на ядерных оценках Парзена [Parzen, 1962], связывающих ансамбли близко лежащих точек с некоторым доверием к уровню плотности, которое по мере отдаления убывает и стремится к нулю. В методе ядерных оценок в точке, соответствующей каждому наблюдению, помещается некоторая простая функция (например, гауссова функция), затем все они складываются, и в результате получается оценка для общей плотности вероятности. Если обучающих примеров достаточное количество, то такой метод дает достаточно хорошее приближение к истинной плотности вероятности.

Первый промежуточный слой сети GRNN состоит из радиальных элементов, а второй промежуточный слой содержит элементы, которые помогают оценить взвешенное среднее и состоит из двух нейронов. Обобщенно-регрессионная сеть обучается почти мгновенно, но может получиться большой и медленной. Как и сеть RBF, сеть GRNN не обладает способностью эффективно экстраполировать данные.

В составе общей таблицы наблюдений, состоящей из 473 измерений, выделим обучающую выборку из 400 объектов, а остальные примеры используем для контроля. Средние значения выходной переменной составили для обучающей и контрольной выборок, соответственно, 1.78 и 3.24 мг, стандартные отклонения – 2.70 и 6.71.

С помощью "интеллектуального генератора" построим 50 нейронных сетей различного типа и архитектуры, из которых отберем наилучшие модели, т.е. имеющие наименьшую ошибку на контрольном множестве. Будем попутно исключать при этом из числа входных переменных признаки, имеющие низкую чувствительность. Основные результаты расчетов представлены в табл. 9.8.

Эти результаты позволяют сделать два достаточно общих вывода:

• еще раз подтверждается тезис "множественности моделей" В.В. Налимова (в частности, исключение из модели от 2 до 4 различных переменных не приводит к серьезному ухудшению их качества);
• результаты свидетельствуют о хороших интерполяционных и плохих экстраполяционных качествах обобщенно-регрессионных сетей, антиподом которых в этом отношении являются линейные сети.

Однако, как основной вывод, следует признать, что между средним весом особей и представленным комплексом переменных существует достаточно слабая статистическая зависимость, которую не удалось существенно улучшить с использованием различных методов нейросетевого моделирования. Например, на обучающей выборке лишь GRNN-модель оказалась чуть лучше (коэффициент корреляции 0.464 против 0.394) обычной линейной регрессионной модели, представленной в таблице 8.1 раздела 8.1.

Доля общей вариации индивидуального веса, объясненная любой из протестированных сетей табл. 9.8, составляет от 3 до 5%. В то же время, если на той же выборке в качестве выходной переменной принять, например, индекс Шеннона, то доля объясненной дисперсии даже при моделировании трехслойным персептроном составит от 42.3 % на обучающей выборке до 38.6 % на контрольной последовательности. Коэффициент корреляции Пирсона в тех же условиях изменяется от 0.817 до 0.790 соответственно, что следует оценить как весьма высокий показатель применительно к гидробиологическим моделям.

Для прогнозирования каждого из указанных гидрохимических показателей в ходе перебора многих вариантов была построена наилучшая нейросетевая модель со следующими параметрами:

Несмотря на известную теоретическую проблематичность корректного сравнения математических моделей, имеющих разную параметричность, количество степеней свободы и проч. [Брусиловский, Розенберг, 1981; Розенберг, 1989], мы сочли возможным предложить читателю некоторый анализ эффективности моделирования всеми протестированными методами. Как и в другой нашей работе [Розенберг с соавт., 1994], сопоставление моделей-претендентов проведем по системе критериев, представленных в табл. 9.9.

Таблица 9.9

Примечание. Жирным шрифтом выделены "наилучшие" с точки зрения эффективности значения критериев.

В целом, определенные преимущества в "соревновании" методов прогнозирования оказались на стороне моделей ИНС. Однако даже в ходе перебора более четырехсот версий различных сложных нейросетей, не удалось найти модель для прогноза концентрации аммонийного азота, лучшую, чем простенькое уравнение регрессии. В некоторых случаях с позиций различных критериев эти оценки могут разойтись: например, для прогноза БПК, если принять во внимание коэффициент корреляции, лучшей оказалась модель ИНС, но меньшую среднюю ошибку доставляет уравнение регрессии.