Обобщенный метод наименьших квадратов

Обобщенный метод наименьших квадратов (ОМНК) применяется в тех случаях, когда нарушены условия Гаусса – Маркова, касающиеся характера случайных остатков, а именно:

  • – гомоскедастичность (постоянство дисперсии) случайных остатков;
  • – некоррелированность остатков между собой.

Нарушение этих условий означает, что ковариационная матрица остатков Ω не является скалярной. Она будет иметь вид

(2.77)

На главной диагонали этой матрицы расположены дисперсии случайных остатков для различных наблюдений (і = 1 – η), не одинаковые по своей величине. Ковариации случайных остатков ε,• и ε;• в общем случае также ненулевые. Если остальные условия построения классической нормальной линейной модели выполняются (см. параграф 2.2), то модель

(2.78)

называется обобщенной линейной моделью.

Напомним, что формула для расчета вектора-столбца неизвестных параметров с помощью обычного МНК в матричной форме имеет вид (см. параграф 2.2)

Скалярность матрицы Ω использовалась выше при выводе выражения для ковариационной матрицы оценок параметров уравнения регрессии Σα. Можно показать, чт.е. ли матрица Ω не скалярная, то оценки параметров, содержащиеся в векторе а, являются неэффективными (т.е. их дисперсия не является наименьшей из дисперсий возможных оценок параметров а). В свою очередь, эти дисперсии являются смещенными и несостоятельными, что приводит к ложным выводам при оценке качества модели (оценке статистической значимости параметров и всей модели в целом) и при проведении прогнозирования по ней.

Сущность обобщенного метода наименьших квадратов состоит в том, чтобы устранить нарушения предпосылок МНК, "скорректировав" расчеты параметров уравнения регрессии с учетом значений ковариационной матрицы остатков. Такая "корректировка" может быть проведена с использованием формулы

(2.79)

где Ω – ковариационная матрица остатков (2.77).

Доказательство эффективности оценок, полученных с помощью обобщенного МНК (ОМНК), содержатся в теореме Айткена.

Теорема Айткена. В классе линейных несмещенных оценок вектора а для обобщенной линейной модели оценка а (2.79) имеет наименьшую ковариационную матрицу.

Найдем математическое ожидание оценки а . В выражении для а заменим вектор У на функцию регрессии (2.78).

Математическое ожидание суммы равно сумме математических ожиданий:

Первое слагаемое после упрощения (перемножение матриц дает единичную матрицу) равно вектору значений параметров а в генеральной совокупности, его математическое ожидание (как константы) равно ему самому. Во втором слагаемом произведение, состоящее из матриц X и Ω, является неслучайной величиной, так как X содержит независимые неслучайные переменные, Ω – ковариационная матрица случайных остатков. Математическое ожидание случайных остатков (согласно одному из условий Гаусса – Маркова) равно нулю, поэтому второе слагаемое равно нулю:

Таким образом, ОМНК-оценка является несмещенной.

Ковариационная матрица случайных остатков Ω является невырожденной симметричной матрицей, поэтому она может быть представлена через некую невырожденную матрицу Р следующим образом:

В свою очередь, обратная матрица может быть выражена как

Запишем формулу оценок параметров линейной регрессии по ОМНК, используя вместо матрицы Ω матрицу Р.

Если произвести замену переменных

(2.80)

то оценка а будет иметь вид оценки параметров по обычному МНК:

Иначе говоря, если преобразовать переменные X и Г по формулам (2.80), то применение к ним обычного МНК приведет к тому же результату, что и применение ОМНК к исходным переменным.

Преобразование переменных (2.80) приводит к следующему виду обобщенной модели регрессии:

(2.81)

Покажем, что применение ОМНК позволяет получить гомоскедастичные, некоррелированные случайные остатки. Математическое ожидание случайных остатков модели (2.81) равно нулю, так как в исходной модели эта предпосылка не нарушена (Με = 0):

Ковариация случайных остатков для модели (2.81) равна (в матричной форме)

Так как матрица (Р-1) формируется на основе ковариационной матрицы остатков Ω, т.е. элементы являются постоянными величинами, их можно вынести за знак математического ожидания:

Математическое ожидание произведения εε7 равно ковариационной матрице случайных остатков Ω, которую мы представили как PP.

После перегруппировки получаем два одинаковых произведения матрицы Р на обратную ей матрицу (Р-1), которые по определению дают единичные матрицы:

Напомним, что единичная матрица содержит на главной диагонали единицы, а ее остальные элементы равны нулю. Следовательно, мы доказали, что ковариационная матрица остатков при применении к обобщенной модели линейной регрессии ОМНК удовлетворяет условиям Гаусса – Маркова о гомоскедастичности и отсутствия автокорреляции случайных остатков. Более того, мы получили, что при применении ОМНК дисперсии случайных остатков всегда будут равны единице (элементы главной диагонали единичной матрицы).

Подводя итоги, отметим, что получены два способа применения ОМНК: с использованием ковариационной матрицы остатков Ω и формулы (2.79) и с использованием матрицы Р и модели с преобразованными переменными (2.81), для решения которой достаточно применить обычный МНК.

Если предпосылки МНК о гомоскедастичности и некоррелированности остатков выполняются, то матрица Ω превращается в скалярную и обобщенный метод наименьших квадратов дает тот же результат, что и обычный МНК.

Основная проблема, возникающая при использовании ОМНК, заключается в том, что фактические значения элементов матрицы Ω неизвестны. Поэтому для применения этого метода используют их оценки, полученные на основе исследования имеющихся в распоряжении данных. В этом случае говорят о доступном ОМНК.

Для оценки элементов ковариационной матрицы остатков Ω выдвигают разные предположения об их характере и структуре.

Как правило, считают, что гетероскедастичность остатков присуща данным пространственных выборок, а автокорреляция остатков – временным рядам. Поэтому в зависимости от характера исходных данных часто предполагают или гетероскедастичность остатков при условии отсутствия автокорреляции, или их автокорреляцию при условии гомоскедастичности.

Если остатки только гетероскедастичны, ковариационная матрица остатков имеет вид

(2.82)

Таким образом, следует дать оценку не всем элементам матрицы Ω, а только ее п элементам, стоящим на главной диагонали.

Обобщенный метод наименьших квадратов можно с учетом матрицы (2.82) записать в виде системы нормальных уравнений

В данной системе переменные и их попарные произведения как бы взвешиваются путем умножения на , где і – номер наблюдения. Поэтому ОМНК для случая гетероскедастичных остатков называют еще методом взвешенных наименьших квадратов. Подчеркнем, что весовой коэффициент значений исходных переменных X и у для каждого номера наблюдения будет свой. То есть для первого наблюдения все переменные делятся на , для второго – на 2, для последнего, п-го наблюдения,– на σ^.

Дисперсия случайного остатка ε; (при условии Με,• = 0) равна

Поэтому в качестве оценок дисперсий случайных остатков могут быть использованы квадраты остатков, полученных при применении обычного МНК.

Процедура применения ОМНК в данном случае предполагает следующие шаги:

  • • к исходным данным применяется обычный МНК и вычисляются случайные остатки е,;
  • • делаются предположения относительно функциональной зависимости дисперсии случайных остатков от каких-либо переменных:

(2.83)

В качестве функции, может, например, использоваться функция по тесту Уайта

или любая другая аналогичная функция;

  • • с помощью МНК находят параметры модели (2.83), используя в качестве фактических значений зависимой переменной случайные остатки ei, найденные на первом шаге;
  • • по модели (2.83) рассчитывают выровненные значения случайных остатков. Эти значения рассматривают как оценки неизвестных дисперсий случайных остатков , т.е. диагональных элементов матрицы (2.82);
  • • определяют параметры множественной линейной регрессии с помощью ОМНК в зависимости от алгоритма, выбранного для расчета параметров: по формуле (2.79) или с использованием преобразованных переменных с применением к ним обычного МНК. В последнем случае возникает вопрос о виде матрицы (Р-1).

Так как в рассматриваемом случае матрица Ω имеет только диагональные элементы, то обратная к ней матрица Ω _1 также является диагональной и имеет вид

Тогда матрица (Р-1) равна

С учетом преобразования переменных уравнение множественной линейной регрессии будет иметь вид

Отметим, что полученное уравнение регрессии не имеет свободного члена.

Применение ОМНК для случая гетероскедастичности остатков еще более упрощается, если предполагается зависимость дисперсии случайных остатков от квадратов значения какой-то одной переменной Xf

где і – номер наблюдения;;' – номер переменной.

В этом случае ковариационная матрица остатков будет иметь вид

Диагональные элементы матрицы Ω уже известны и равны квадратам фактических значений переменной Xj. Постоянный множитель σ2 при расчетах по формуле (2.79) сокращается, поэтому матрицу Ω можно заменить матрицей Ω, без этого множителя:

Матрица (Р"1) в этом случае равна

Использование значений какой-либо независимой переменной в качестве основы для оценки ковариационной матрицы остатков позволяет дать экономическую интерпретацию результатов, полученных по ОМНК. Пусть, например, имеется уравнение множественной линейной регрессии с двумя независимыми переменными

(2.84)

Предположим также, что установлена гетероскедастичность случайных остатков ε и зависимость их дисперсий от квадрата переменной х2. Тогда применение ОМНК предполагает, что каждый элемент уравнения регрессии (2.84) будет разделен на х2:

Преобразованное уравнение регрессии содержит свободный член (а2). Однако его экономическая интерпретация остается той же, что в исходном уравнении, – это коэффициент регрессии при переменной х2. Параметр а0 является свободным членом и не интерпретируется, a параметр а, является коэффициентом регрессии при переменной Xj.

Если случайные остатки автокоррелированны и предполагается отсутствие гетероскедастичности, то ковариационная матрица остатков примет вид

(2.85)

В этой матрице неизвестны уже п (n – 1)/2 элементов, поэтому, как правило, выдвигают предположения относительно взаимосвязи этих элементов между собой, сокращая тем самым количество неизвестных. Например, предполагают, что случайные остатки связаны автокорреляционной зависимостью первого порядка:

(2.86)

где δ,• – случайные остатки, удовлетворяющие предпосылкам МНК, Pj – неизвестный параметр.

Уравнение (2.86) не имеет свободного члена, так как предпосылка о равенстве нулю математического ожидания остатков по-прежнему соблюдается. Если применить к выражению (2.86) МНК, то полущим следующее выражение для рх:

Переход в числителе дроби (2.86) от суммы произведений остатков к их ковариации возможен, так как их средние равны нулю. Этим же объясняется переход от суммы квадратов остатков к дисперсии этой величины. Далее, так как мы предполагаем гомоскедастичность остатков, дисперсия остатка

была заменена на постоянную величину . Отсюда ковариация случайных остатков ε, и ε,_! равна

Для выявления зависимости между остатком ε; и остатками будем последовательно применять форму

лу (2.86):

где – случайный остаток.

Аналогично

и т.д.

Тогда ковариации между остатком ε(• и остатками будут равны

и т.д.

Ковариационная матрица остатков (2.85) примет вид

где – постоянная дисперсия остатков.

Как и в случаегетероскедастичности остатков, постоянный множитель можно опустить, используя для расчетов только матрицу

Параметр р, как правило, неизвестен. Его оценку производят, исследуя взаимосвязь остатков, полученных после применения к модели регрессии обычного МНК. Более подробно применение ОМНК в случае автокорреляции остатков будет рассмотрено в следующих главах. В данном параграфе приведем пример применения ОМНК к регрессии с гетероскедастичными остатками.

Как было выявлено ранее, случайные остатки в модели регрессии

гетероскедастичны, корень из дисперсии случайных остатков и значения независимой переменной х, связаны линейно. То есть мы можем предположить, что .

В этом случае можно применить метод взвешенных наименьших квадратов, разделив каждую переменную, входящую в уравнение регрессии, на соответствующее значение переменной х3:

Преобразование переменных затронет также столбец множителей-единиц при свободном члене

Модель с преобразованными переменными будет иметь вид

или

Ниже приведена табл. 2.6, содержащая преобразованные переменные по данным примера 2.1.

Таблица 2.6. Преобразование переменных при применении ОМНК для модели регрессии поступления налогов от количества занятых, объема отгрузки в обрабатывающих производствах и производства энергии

Субъект РФ

y

*0

x1

x2

Республика Ингушетия

1,940

0,0 013 643

0,146

0,363

Еврейская автономная область

1,240

0,0 004 902

0,040

1,404

Республика Тыва

1,300

0,0 004 943

0,050

0,213

Республика Алтай

2,351

0,0 008 503

0,074

1,044

Карачаево-Черкесская Республика

0,783

0,0 002 339

0,044

2,555

Республика Калмыкия

2,618

0,0 006 689

0,082

0,621

Республика Адыгея

1,467

0,0 003 333

0,062

4,188

Республика Северная Осетия – Алания

1,769

0,0 002 997

0,098

3,323

Магаданская область

0,838

0,0 001 204

0,012

0,299

Кабардино-Балкарская Республика

1,312

0,0 001 727

0,061

3,041

Республика Хакасия

0,525

0,0 000 567

0,014

2,248

Чукотский автономный округ

1,496

0,0 001 606

0,005

0,085

Республика Марий Эл

1,332

0,0 001 335

0,043

6,166

Псковская область

1,799

0,0 001 773

0,057

5,687

Чеченская Республика

1,656

0,0 001 621

0,058

0,094

Республика Карелия

0,773

0,0 000 681

0,023

2,721

Курганская область

0,996

0,0 000 827

0,032

3,168

Республика Мордовия

1,650

0,0 001 368

0,060

8,959

Костромская область

0,579

0,0 000 478

0,016

2,415

Камчатский край

1,025

0,0 000 786

0,015

0,884

Орловская область

1,363

0,0 001 040

0,039

3,963

Ивановская область

0,724

0,0 000 540

0,027

2,316

Республика Дагестан

1,127

0,0 000 795

0,088

1,673

Тамбовская область

1,494

0,0 001 050

0,052

5,013

Новгородская область

1,877

0,0 001 112

0,036

9,002

Республика Бурятия

1,438

0,0 000 798

0,031

2,367

Смоленская область

0,435

0,0 000 229

0,012

1,795

Курская область

0,457

0,0 000 229

0,012

1,538

Забайкальский край

1,494

0,0 000 731

0,035

0,578

Липецкая область

1,226

0,0 000 578

0,033

13,218

Ульяновская область

1,297

0,0 000 607

0,038

4,646

Пензенская область

1,776

0,0 000 829

0,053

5,912

Кировская область

1,030

0,0 000 479

0,033

3,651

Чувашская Республика

1,278

0,0 000 586

0,036

5,033

Астраханская область

2,167

0,0 000 949

0,045

3,283

Брянская область

2,242

0,0 000 951

0,054

5,437

Амурская область

1,435

0,0 000 606

0,025

0,994

Калужская область

2,315

0,0 000 964

0,051

15,601

Тульская область

1,131

0,0 000 410

0,031

7,468

Вологодская область

1,210

0,0 000 431

0,027

10,193

Алтайский край

1,202

0,0 000 403

0,045

4,644

Тверская область

0,717

0,0 000 222

0,015

2,294

Белгородская область

1,740

0,0 000 533

0,040

12,444

Владимирская область

1,626

0,0 000 498

0,034

7,110

Мурманская область

0,999

0,0 000 291

0,014

1,427

Воронежская область

0,920

0,0 000 255

0,027

3,200

Рязанская область

1,527

0,0 000 418

0,022

3,991

Калининградская область

2,407

0,0 000 648

0,030

9,565

По преобразованным данным была получена следующая модель:

Все коэффициенты полученной модели значимы (табличное значение критерия Стьюдента равно 2,015 = 0,05; df = = 44)). Напомним, что в данном уравнении параметр при переменной х0 является свободным членом исходной модели, а параметр, равный 0,723, – коэффициентом регрессии при переменной х3. Таким образом, в исходном виде уравнение регрессии будет иметь вид

Сопоставив полученное уравнение с исходным

можно отметить существенное изменение практически всех параметров.

Анализ случайных остатков нового уравнения был проведен по тем тестам, которые показали гетероскедастичность остатков, т.е. по тестам Глейзера и Бреуша – Пагана. Получены следующие результаты.

Тест Глейзера:

Тест Бреуша – Пагана:

Табличное значение критерия Стьюдента в данном случае равно 2,0129 (а = 0,05; df= 46), критерия χ2 равно 3,84 (а = = 0,05; df = 1), следовательно, по каждому из тестов нет оснований отвергнуть гипотезу о гомоскедастичности остатков.

 
< Пред   СОДЕРЖАНИЕ     След >