Необходимо, используя таблицу Х, как обучающую выборку, решить общую задачу распознавания образов, т.е. разработать модель предсказания для произвольного объекта значения целевого признака, выраженного в порядковой шкале или шкале наименований.

В предыдущих главах мы неоднократно обращались к поставленной задаче, решая ее методами регрессионного и дискриминантного анализа (разделы 8.2 - 8.3), с использованием эвристических и линейных алгоритмов распознавания (разделы 8.4 - 8.5), а также на основе иерархических деревьев решений (раздел 9.1). При этом неоднократно отмечалось, что традиционная параметрическая статистика требует для адекватного прогноза либо очень большого объема известных данных, либо очень сильных предположений о виде функций распределения. Поэтому естественным является желание иметь единую парадигму построения различных эмпирических моделей, решающих задачи предсказания и классификации, которая бы удовлетворяла следующим условиям:

• достаточно высокая вычислительная эффективность;
• отсутствие определяющих ограничений на функцию распределения данных;
• обеспечение возможности обработки разнотипных экспериментальных данных (без сведения всех признаков к одной шкале) и инвариантность к допустимым преобразованиям шкал признаков;
• простота получения результата и отсутствие привязки к конкретной проблемной области;
• работа в случае, если число измеренных признаков превышает число объектов, и число объектов достаточно мало;
• работа при наличии пропусков в таблице.

Как отмечалось в разделе 2.8, большинству перечисленных требований удовлетворяет подход, основанный на применении искусственных нейронных сетей (ИНС).

Рекомендуемая литература: [Горбань, 1990, 1998а,б; Уоссермен, 1992; Горбань, Россиев, 1996; Васильев с соавт., 1997; Царегородцев, Погребная, 1998; Дьяконов, Круглов, 2001; Нейронные сети.., 2001].

;(9.11)

Вид функции активации может иметь различное математическое выражение, выбор которого определяется характером решаемых задач. Например, функция активации может быть:

• линейная

Вид некоторых функций активации представлен на рис. 9.3.

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1].

Популярность сигмоидной функции определяют следующие ее ценные свойства:

• способность усиливать слабые сигналы лучше, чем большие, и сопротивляться "насыщению" от мощных воздействий;
• монотонность и дифференцируемость на всей оси абсцисс;
• простое выражение для ее производной:

, (9.20)

что дает возможность использовать широкий спектр оптимизационных алгоритмов.

Следует также отметить существование других типов формальных нейронов (сигма-пи нейроны и стохастические нейроны, нейроны с поправочным блоком), учитывающих другие свойства биологического прототипа. Наиболее интересны голографические нейроны, используемые в голографической парадигме ИНС.

На сегодняшний день существует много разновидностей нейронных сетей, характерных для различных типов задач, которые можно классифицировать по следующим признакам:

• тип входной информации (аналоговые или двоичные данные);
• характер обучения (с учителем и без);
• характер настройки синапсов (фиксированные или динамические связи);
• метод обучения (обратное распространение, конкурентная настройка, использование правила Хебба, гибридные сети и т.д.);
• характер связей (прямое и прямое-обратное распространение информации);
• архитектура (персептроны, самоорганизующиеся ИНС Кохонена, сети адаптивного резонанса, рециркуляционные, рекуррентные, встречного распространения, ИНС с обратными связями Хэмминга и Хопфилда, с двунаправленной ассоциативной памятью, с радиально-базисной функцией активации и т.п.).

Рассмотрим возможности обучения ИНС на примере многослойного персептрона с прямым распространением информации. Характер связей сети для нашего случая будет выглядеть, как показано на рис 9.4:

Выбор количества слоёв и типа активационной функции влияет на способность сети решать те или иные задачи. Однослойная сеть способна формировать линейные разделяющие поверхности и легко сводится к рассмотренному нами в разделе 8.5 методу обобщенного портрета. Линейная модель является хорошей точкой отсчета для сравнения эффективности различных многослойных сетей с нелинейными функциями активации, позволяющими, как показано выше, аппроксимировать любые выпуклые многомерные функциональные зависимости.

, (9.22)

Аналитическими средствами найти в таких условиях глобальный минимум невозможно, поэтому процесс обучения ИНС, по сути дела, заключается в исследовании этой поверхности. Отталкиваясь от случайной начальной конфигурации весов и порогов, алгоритм оптимизации начинает передвижение к минимуму, используя на каждом шаге вектор градиента (т.е. направления кратчайшего спуска). Можно сказать, что процесс ведет себя как слепой кенгуру – каждый раз прыгает в направлении, которое ему кажется наиболее привлекательным. В общем случае результат обучения ИНС может соответствовать субоптимальному решению, т.е. не глобальному оптимум, а решению, которое нас устроит. В самом деле, если Е_лок2 < Е_{требуемое}, то такое решение вполне приемлемо. Другое дело, когда веса попадают в область локального минимума (такого как Е_лок1) и при этом Е_лок>Е_{требуемое}, а величины шага обучения не хватает чтобы выйти оттуда.

Самый известный алгоритм обучения сети – так называемый, алгоритм обратного распространения (back propagation) [Нейронные сети.., 2001]. В основу метода легли прямой ход вычисления выходных значений, вычисление ошибки последнего слоя и рекурсивное обратное распространение.

и напоминает систему поощрений-наказаний, используемую при обучении однослойных сетей. Для каждого предыдущего слоя ошибка определяется рекурсивно через ошибку следующего слоя:

,

Выбор нейросети “правильной” сложности сводится к двум рецептам: использование контрольных выборок и экспериментирование. Механизм контрольной кросс-проверки заключается в том, что некоторая часть обучающих наблюдений резервируется, т.е. подгонка коэффициентов модели и поиск минимума ошибки сети по ним не осуществляется. Эти измерения, как и в алгоритмах МГУА, используются только для независимого контроля результата и называются контрольной выборкой. Если разбиение на обучающее и контрольное множества было выполнено однородно, то, по мере того как сеть обучается, ошибка обучения и ошибка на контрольном множестве будут одновременно уменьшаться. Если же контрольная ошибка перестала убывать или даже стала расти, это указывает на то, что сеть стала чересчур точно аппроксимировать данные и наступает фаза переобучения. В этом случае следует уменьшить число А-элементов или слоев сети.

Описанные проблемы с локальными минимумами и выбором размера сети приводят к тому, что в практической работе с ИНС приходится экспериментировать с большим числом различных вариантов конфигурации.

Если из автоассоциативной сети удалить два последних слоя, то получается сеть для пре-процессирования, с помощью которой генерируется версия входных данных в уменьшенной размерности.

Примем стандартную модель персептрона с 28 входами, одним выходом и одним промежуточным слоем, состоящем из 14 А-нейронов, т.е. полусумме числа входных и выходных элементов (см. рис. 9.8). Выполним обучение сети в трех вариантах:

• с использованием линейной функции активации;
• с использованием логистической функции активации и оценкой качества сети по среднеквадратичной ошибке;
• с использованием логистической функции активации и оценкой качества сети по информационному критерию (энтропии).

Для каждого из вариантов обучение проведем в двух режимах: без использования контрольного множества и с применением кросс-проверки на контрольном множестве. В первом случае сеть обучается на всех 520 примерах, а во втором случае 120 примеров выделяются в качестве внешнего дополнения и используются для независимого контроля качества сети.

Построенная сеть в нашем случае для каждого произвольного вектора Х выдает на выходе некоторое значение апостериорной вероятности на интервале от 0 до 1. Для конкретной классификации примеров используются два задаваемых доверительных уровня: порог принятия (т.е. минимальное значение выхода, при котором наблюдение будет считаться принадлежащим классу 1) и порог отвержения (т.е. максимальное значение выхода, относящее измерение к классу 0). В нашем примере мы задали эти пороги равными 0.55 и 0.45 соответственно. Все вектора, предъявленные сети и имеющие отклик внутри диапазона доверительных уровней, классифицируются как неопределенные.

Результаты моделирования по традиции для всех задач классификации оценим как долю ошибочных опознаний на обеих выборках (см. табл. 9.5, где приведены данные только для режима с кросс-проверкой).

Таблица 9.5

На основе выполненных расчетов можно сделать следующие очевидные выводы:

• использование методов нейросетевого моделирования для этого примера дало весьма ощутимый выигрыш по сравнению с логистической регрессией (раздел 9.2) и линейным дискриминантным анализом (раздел 9.3);
• вариант построения нелинейной разделяющей поверхности с использованием сигмоидной функции активации более эффективен по сравнению с вариантом линейных разделяющих гиперплоскостей;
• использование энтропии в качестве функции ошибок сети с альтернативным параметром выхода имеет некоторые преимущества по сравнению со стандартным среднеквадратичным отклонением, которое теоретически больше подходит для задач регрессии;
• кросс-проверка на контрольном множестве, включенная при обучении, в двух случаях из трех привела к уменьшению ошибки на самом обучающем множестве и дала возможность провести независимую оценку качества на внешнем дополнении;
• ошибка на контрольной выборке оказалась несколько выше, чем при обучении, однако, в нашем случае этот факт вряд ли можно объяснить феноменом переобучения.

Нейронную сеть вследствие ее принципиальной многомерности обычно интерпретируют как "черный ящик", поскольку визуальный или статистический анализ коэффициентов усиления и порогов, как это делается, например, в множественной регрессии, для всех структурных связей графа представляет собой весьма утомительную процедуру, не гарантирующую достоверных выводов. Тем не менее, при желании, можно заглянуть "внутрь" этого ящика и попытаться выяснить роль каждого скрытого элемента, создаваемый ими потенциал активации и прочие нейронные характеристики (в рамках нашего изложения мы этого желания не испытали).

Архитектура выбранного персептрона с одним промежуточным слоем представлена на рис. 9.9. Сеть имеет 5 выходов, соответствующих каждому из присутствующих в обучающей выборке классов качества воды. При правильном распознавании на одном из выходных элементов появляется высокое значение активации при незначительной ее величине на остальных четырех.

Нами использовалась в выходном слое специальная функция активации (Softmax), представляющая собой взвешенную и нормированную на единицу сумму экспонент. Можно показать, что если входные данные представляют собой выборку из какого-либо экспоненциального распределения, то выходы софтмакс-элементов можно трактовать как вероятности (напомним, что самым известным примером экспоненциального распределения является нормальное). Например, если для измерения на ст. 1 р. Байтуган активации выходных нейронов сети оказались равными {0.314, 0.503, 0.142, 0.028, 0.018 }, то с вероятностью 0.503 можно предположить, что это измерение было взято из водоема 3 класса качества, а с вероятностью 0.817 – из водоема 2-3 классов.

Хотя анализ весовых коэффициентов и активностей отдельных фрагментов сети представляется неблагодарной деятельностью, методы нейросетевого моделирования позволяют оценить относительную значимость влияния отдельных исходных переменных на отклик, т.е. выполнить анализ чувствительности сети по ее входам. Этот анализ дает возможность идентифицировать неинформативные переменные с низкой чувствительностью, которые могут благополучно игнорироваться в последующих просчетах. Разумеется, подобные заключения должны приниматься со всей осторожностью, поскольку никакой анализ чувствительности не гарантирует абсолютную точность и надежность оценок "полноценности" переменных в модели. Например, в литературе приводится много примеров взаимного влияния и обусловленности исходных факторов, когда ни одна из переменных по отдельности не несет существенную информацию (классы будут выглядеть совершенно перемешанными), но, учитывая всю совокупность признаков, классы можно легко разделить.

Таблица 9.6

Результаты достоверности оценки классов качества представим в виде таблицы сопряженности "Факт/Прогноз" (табл. 9.7), где по главной диагонали проставлены частоты правильной оценки групп измерений, а в остальных клетках – имеющиеся ошибки прогноза отдельно для обучающей выборки и контрольной последовательности.

Несмотря на всю математическую мощь нейронных сетей, эффективность распознавания класса качества вод с использованием персептрона лишь незначительно превысила достоверность дискриминантного анализа (см. раздел 8.3) и уступила методу, основанному на видовых индикаторных индексах (раздел 8.4). Очевидно, что здесь был достигнут порог насыщения для уровня информативности "интегральных" показателей зообентоса, превысить который невозможно никакими интеллектуальными ухищрениями. Модель на данном наборе признаков сделала все, что могла и дальнейшие резервы повышения эффективности – в расширении признакового пространства с привлечением данных о видовой структуре. Это подтверждает и тот уникальный для методов распознавания факт, когда ошибка классификации на контрольной выборке оказалась меньше, чем на обучающей последовательности.

Таблица 9.7

• построим автоассоциативную сеть – персептрон с пятью слоями, как показано на рис. 9.7;
• обучим автоассоциативную сеть на имеющейся обучающей выборке 9х520 с использованием любого итеративного алгоритма (для определенности используем метод сопряженных градиентов);
• удалим два последних слоя автоассоциативной сети и получим сеть для пре-процессирования, понижающую размерность данных (см. рис. 9.10);
• с помощью пре-процессирующей сети получим версию входных данных в уменьшенной размерности: те же 520 строк исходной таблицы наблюдений с метками класса качества вод, но количество варьируемых признаков сведено от 9 к 3 без существенной потери информации;
• построим обрабатывающую сеть в виде второго трехслойного персептрона и обучим ее на модифицированном обучающем множестве, полученном на предыдущем шаге;
• объединив обе сети (см. рис. 9.10), получим единую сеть, которая последовательно пересчитывает исходные данные в пространство трех главных компонент, после чего обрабатывает уже преобразованные факторы, прогнозируя значение отклика.

В нашем конкретном случае достоверность распознавания по полученной двухуровневой сетевой модели несколько снизилась по сравнению с обычным персептроном, представленным на рис. 9.9. Однако общий смысл перехода в пространство небольшой размерности состоит не столько в том, чтобы повысить эффективность прогноза, сколько в попытке дать какое-то разумное объяснение имеющимся внутренним механизмам анализируемых явлений. Один из способов это сделать – проанализировать двух- или трехмерную визуализацию классифицируемых объектов в осях главных факторов (см. рис. 9.11). Изучив на полученной "картинке" сильно трангрессирующее облако точек, принадлежащих разным классам качества воды, мы, по крайней мере, поняли, какая трудновыполнимая задача была поставлена перед методами распознавания.

Рис. 9.11. Изображение в пространстве двух главных компонент облака точек, соответствующих различным классам качества воды