Дальше

Назад

Начало

Конец

Список

8.2. Регрессия с качественной зависимой переменной

Пусть в рамках задачи множественной регрессии зависимая переменная Y принимает фиксированные значения из некоторого заранее предопределенного набора, т.е. моделируемому объекту приписывается выбор между двумя и более возможными альтернативами. В частности, модель с бинарной переменной включает отклик, принимающий два значения (обычно 0 и 1), а также регрессоры X, которые содержат факторы, определяющие альтернативный выбор.

Эта задача возникает, как правило, если моделируемый показатель измерен в порядковой шкале, которая принципиально не может быть преобразована в непрерывную числовую последовательность. Пусть, например, рассматривается оценка пола особи: мужской (0) или женский (1). Тогда построенная обычная линейная регрессия будет предсказывать абсурдные значения Y – дробные, отрицательные и больше единицы. Может быть, это как-то и интерпретируется с медицинской точки зрения, но в практике гидробиологических исследований такое будет едва ли возможно.

Для случая с качественной зависимой переменной требуется найти модель, которая порождала бы дискретное распределение E(Y | X), зависящее от X и хорошо описывающие исходные данные. Классическая модель регрессии не подходит для описания этой ситуации, поскольку предполагает, что зависимая переменная имеет непрерывное распределение.

С этой целью рассматривается логистическая регрессия, которая выражает статистическую связь в виде зависимости P{Y=1|X}=f(X), т.е. прогнозируется вероятность события {Y = 1}, обусловленная значениями независимых переменных X¹,…,X^p. Геометрически суть задачи состоит в том, чтобы найти одну из возможных гиперплоскостей, которая бы в определенном смысле наилучшим образом разделяла бы две группы наблюдений (соответствующие 0 и 1) в пространстве регрессоров.

Логистическая регрессия выражает модель связи между откликом и переменными в виде формулы

где переменная = q ₀+q ₁X₁+…+q _pX_p называется логитом. Такая модель с бинарной зависимой переменной, по сути, является функцией логистического закона распределения

Наряду с моделью, имеющей логистически распределенное отклонение, используют также близкую ей модель пробит с нормально распределенным отклонением (см. рис 8.1).

Различить, когда следует применять логит, а когда – пробит, в случае малых выборок невозможно, поскольку оценки коэффициентов q отличаются множителем, который практически постоянен.

Предлагается два вида моделей выбора, которые могли бы порождать интересующие нас распределения зависимой переменной: пороговая модель и модель, основанная на полезности альтернатив.

Пороговая модель предполагает, что прогнозирование отклика основывается на ненаблюдаемой непрерывной переменной , математическое ожидание которой является линейной комбинацией набора регрессоров X: + e . Отклик Y, являющийся дискретной величиной, связан с следующим образом: если больше некоторой пороговой величины C, то Y = 1, если меньше, то Y = 0. Как обычно предполагается, что ошибки e _i имеют нулевое математическое ожидание, одинаково распределены и независимы. Величину C обычно принимают равной 0.5. Пробит- или логит-уравнение задает задает в этом случае гиперплоскость, которой разделяются две группы точек: < 0.5 Þ 0 и > 0.5 Þ 1.

О качестве модели можно судить по графику оценки E(Y) по , который в случае "хорошей" модели должен быть "крутой" в нуле. На двух графиках, представленных на рис. 8.2, слева внизу и справа вверху расположены правильно предсказанные точки, а слева вверху и справа внизу — неправильно.

Множественный логит- или пробит-анализ являются естественным продолжением бинарного и возникают, когда рассматривается выбор между более, чем двумя альтернативами. Упорядоченный логит, развивающий пороговую модель, имеет дело с альтернативами, которые можно расположить в определенном порядке. Например, это могут быть шкала оценок класса качества вод, зоны сапробности и т.д.

Будем предполагать, что альтернативы пронумерованы от 0 до S, а переменная Y принимает значение s, если выбрана альтернатива s. Как и в бинарной модели, в основе выбора лежит ненаблюдаемая величина + e , для ранжирования которой рассчитывается s пороговых значений g ₁, g ₂,…,g _s. Предполагается, что Y ⁼ 0, если меньше нижнего (первого) порогового значения, Y = 1, если попадает в промежуток от первого до второго порогового значения и т. д.; Y = S выбирается, если превышает верхнее пороговое значение, т.е.:

Коэффициенты пробита и логита обычно оценивают методом максимального правдоподобия, рассмотрение теоретических аспектов которого выходит за рамки нашего изложения (подробно см. [Цыплаков, URL]). Статистика отношения правдоподобия, которая распределена асимптотически как χ² с m –1 степенями свободы, где m – количество параметров в исходной модели, используется для построения показателя качества модели, аналогичного F-статистике для линейной регрессии, т.е. для проверки гипотезы о том, что коэффициенты при всех регрессорах, кроме константы, равны одновременно нулю. Для моделей с бинарной зависимой переменной можно сконструировать и некий аналог коэффициента детерминации — псевдо-R²: Однако для логистической регрессии, на наш взгляд, существует наиболее естественный критерий качества – вероятность ошибки при оценке прогнозируемых альтернатив. Понятно, что "хорошая" модель должна давать высокий процент правильных предсказаний.

Если категории прогнозируемого отклика не упорядочены (например, сравниваются наблюдения для различных водоемов), то предполагается, что выбор делается на основе функции полезности альтернатив u(Y, X). Для бинарной модели, если u(1, X) > u(0, X), то выбираем 1, а если u(0, X) < u(1, X), то выбираем 0. Для множественного логита Y_i выбирается равным s, если u_s(Z_i) > u_t (Z_i) " s _¹ t. При выборе вида функции полезности обычно делают одно из двух упрощающих допущений:

• регрессоры для всех альтернатив одни и те же: u_s = Z _{b s} + e _s ;
• функция имеет один и тот же вид, а меняются только факторы, определяющие выбор, т.е.

При этом также принимается, что ошибки e _s имеют стандартное распределение Вейбулла F (X) = e –e ^–X (см. рис.8.1).

Сформируем выборку для построения бинарной логистической модели следующим образом:

• в качестве отклика Y примем альтернативу 0 (“чисто”), куда отнесем измерения, сделанные на станциях с классом качества вод 3 и менее, и 1 (“грязно”), соответствующую классу 4 и выше;
• в качестве варьируемых переменных примем общее число видов X₁ = S и показатели обилия отдельных семейств зообентоса (для хирономид -подсемейств и триб); X_j = ln((N_sj× B_sj)^0.5), N_sj и B_sj – суммарные по видам численность и биомасса j-й таксономической группы в пробе, j = 2,3,…,51.

Полученное уравнение логистической регрессии оказалось значимым с позиций статистики отношения правдоподобия – χ²(50) = 225.9, p » 0.0, а коэффициент детерминации псевдо-R² составил 33.6%. Верхняя часть списка коэффициентов регрессии, отсортированного по убыванию t-статистики, представлена в табл. 8.4. Большинство рассчитанных коэффициентов имеют отрицательный знак, т.е. чем меньше обилие гидробионтов этих семейств, тем больше шанс, что проба взята из водоема “грязной” категории. Достоверная связь обратного характера наблюдается только для организмов Oligochaeta и Odonata.

Гистограмма распределения примеров выборки по шкале прогнозируемой вероятности класса 1 (“грязно”) представлена на рис. 8.3. Если принять в качестве порогового значения Р = 0.5, то к классу “грязных” объектов относят значения X_i , для которых > 0.5, и тогда общая ошибка предсказания по уравнению регрессии составит менее 20%. Это правило оптимально с точки зрения минимизации числа ошибок, но не всегда верно с точки зрения исследования связи и поэтому порог зачастую сдвигают в сторону класса с минимальной априорной вероятностью встречаемости.

С чисто статистической точки зрения было рассчитано вполне благополучное уравнение упорядоченного пробита: критерий χ²(9) для статистики отношения правдоподобия составил 257.1 при p @ 0.0, коэффициент детерминации псевдо-R² равен 42.3%.

Упорядоченный пробит представляет собой вероятностную модель, согласно которой попадание в группу, соответствующую каждому классу качества водоема представляет собой случайное событие. Вероятность P(k|x_i1,x_i2,…,x_ip) принадлежности i-го измерения к k-му классу (вернее, вероятность попадания в интервал между границами классов) вычисляется по усеченному нормальному распределению, и при этом предполагается, что к расчетному значению прибавляется стандартная нормальная случайная величина. Графики этих вероятностей и граничные значения классов качества вод для полученного нами уравнения упорядоченного пробита изображены на рис. 8.4. В качестве прогноза для каждого наблюдения берется та группа, вероятность P(k|x_i1,x_i2,…,x_ip) для которой наибольшая.

Дальше

Назад

Начало

Конец

Список