Полная версия

Главная

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ   >>

Множественная линейная модель регрессии

Оценивание параметров линейной модели регрессии и анализ свойств оценок

Рассмотрим общий случай линейной зависимости, когда результативный показатель у с точностью до случайной составляющей е есть линейная функция от к объясняющих переменных[1, 42].

Пусть из (k+1)-мерной генеральной совокупности () взята случайная выборка объемом п и пусть (), где i = 1,2,..., п, есть результат i-го наблюдения. Тогда линейная регрессионная модель имеет вид

для всех , (4.26)

где– неизвестные параметры модели, подлежащие оцениванию но выборке, являются неслучайными величинами как параметры генеральной совокупности;– объясняющие переменные, рассматриваются также как неслучайные величины, т.е. предполагается, что они измерены без ошибок (при этом они не связаны между собой линейной функциональной зависимостью);– регрессионные остатки, являются взаимнонезависимыми случайными величинами снулевым математическим ожиданием () и дисперсией, равнойдля всех. Отсюда следует, что ковариация равна

(4.27)

где

При проверке значимости и интервальном оценивании уравнения регрессии и его коэффициентов обычно исходят из того, что вектор регрессионных остатков подчиняется "-мерному нормальному закону распределения с вектором математических ожиданий и ковариационной матрицей, т.е., где– единичная матрица размерности

Найдем математическое ожидание ух при заданном векторе значений объясняющих переменных и учете указанных свойств модели (4.26):

(4.28)

Мы получили уравнение регрессии, характеризующее функциональную зависимость среднего значения у от объясняющих переменных

В этом уравнении параметрназывают свободным членом уравнения. Обычно он содержательно не интерпретируется, так как в экономике случай, когда все объясняющие переменныеравны нулю, не имеет содержательного смысла. Например, в регрессионной модели производительности труда о производстве не может идти речи, если равны нулю производственные площади, число работающих и т.д.

Параметры модели называются коэффициентами регрессии.

Коэффициент регрессии и в уравнении (4.26) показывает, на какую величину в среднем изменится у, если переменнуюувеличить на единицу при неизменных значениях остальных объясняющих переменных, входящих в модель. Это легко проверить, если, например, в уравнении (4.28) кприбавить единицу. Будем иметь

В матричной форме линейная модель имеет вид

(4.29)

где – вектор-столбец размерности п значений результативного показателя; – матрица размерности значений объясняющих переменных; – вектор-столбец размерности неизвестных параметров, которые подлежат оцениванию по выборке; – вектор-столбец размерности п случайных ошибок регрессионных остатков, причем

(4.30)

где – вектор-столбец, все п элементов которого равны нулю, а ковариационная матрица

Из условия (4.27) следует, что для

при , тогда , где – единичная матрица размерности

Оценку вектора неизвестных параметровнайдем с помощью метода наименьших квадратов из условия минимизации по компонентам вектора р скалярной суммы квадратов. В самом деле:

Подставив найденное выражение в модель (4.29), получим с учетом выражения (4.28) скалярную сумму квадратов:

Условием обращения Q в минимум является система уравнений где. Дифференцируя, получим

где– транспонированная матрица X.

Заменяя вектор р на его оценку Ь, полученную с помощью метода наименьших квадратов, получим– вектор-столбец размерности

Умножив обе части уравнения слева на матрицу , обратную матрице , получим

откуда оценкой метода наименьших квадратов вектора (3 является вектор Ь, равный

(4.31)

Учитывая, что операции над матрицами ассоциативны и дистрибутивны, на основании соотношений (4.29) и (4.31) получим

откуда

(4.32)

Из выражения (4.32) и условия нормальности распределения вектора е следует, что вектор b как линейная функция от е подчиняется + 1 ^мерному нормальному закону распределения с вектором математических ожиданий М(Ь) и ковариационной матрицей. Так как матрица X постоянна (по условию элементы матрицы X – неслучайные величины), то с учетом равенства (4.30) получим

Мы доказали, что вектор Ь, полученный методом наименьших квадратов, является несмещенной оценкой вектора р. При этом в случае линейной модели вектор b является и эффективной оценкой вектора р. Ковариационная матрица вектора b равна

После подстановки в нее выражения (4.32) получим

Учитывая свойства матриц, будем иметь

откуда

Учитывая соотношение (4.27) и то, что X = ЕХ, где Е – единичная матрица, получим

и окончательно ковариационная матрица вектора оценок b примет вид

(4.33)

Таким образом, мы доказали, что вектор b подчиняется + 1)-мерному нормальному закону распределения с вектором математических ожиданий и ковариационной матрицей, т.е.

Рассмотрим статистический смысл элементов этой матрицы. Па главной диагонали матрицы (4.33) находятся дисперсии элементов bj, где j = 0, 1,2 к, вектора оценок Ь. Вне главной диагонали ковариационной матрицы расположены значения ковариаций, т.е. на пересечении /-й строки и j- го столбца матрицы, где l,j = 0,1, 2 k, находится ковариация

Так как оценка Ь. коэффициента регрессии, есть линейная функция (4.32) от е, то она также имеет нормальный закон распределения с математическим ожиданиеми согласно (4.33) дисперсией:

(4.34)

где – диагональный элемент обратной матрицы, соответствующий /-й строке и /-му столбцу, где, таким образом,

Найдем несмещенную оценкуостаточной дисперсии. Для этого рассмотрим вектор остатков [2, 29].

Учитывая, что:, получим

откуда

Тогда

Исходя из того, что произведение и обратной матрицы дает единичную матрицу, последнее слагаемое преобразуется к виду

Таким образом,

(4.35)

Учитывая, что скалярное произведение векторов и для всех , будем иметь

(4.36)

Легко убедиться в том, что матрицаявляется симметричной, т.е.. Для этого достаточно учесть, что

Из симметричности матрицы С следует где

Принимая во внимание, что математическое ожидание суммы равно сумме математических ожиданий и что элементы матрицы С являются неслучайными величинами, получим

Здесь учитывалось, что по условию и при , так как величины е, взаимно независимы, и – след матрицы С, равный сумме диагональных элементов квадратной матрицы.

Подставив вместо С се выражение, получим

Таким образом.

(4.37)

Здесь учитывается свойство следа матрицы, что единичная матрица размерности . Сумма ее диагональных элементов равна

Подставив в формулу (4.35) найденные выражения (4.36) и (4.37), получим

Тогда несмещенная оценка остаточной дисперсииравна

(4.38)

так как . С учетом соотношений (4.33) и (4.38) несмещенная оценка ковариационной матрицы вектора b равна

(4.39)

 
<<   СОДЕРЖАНИЕ   >>