Полная версия

Главная

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ   >>

7.2. Устойчивые параметрические методы оценивания

Параметрические методы оценивания параметра 0 предполагают соответствие вида предполагаемого распределения g(x, 0) неизвестному истинному. Получаемая при этом по выборке независимых значений

максимально правдоподобная оценка в виде векторазначений параметров (аргумента), обеспечивающего максимальное значение функции правдоподобия

(7.5)

обладает минимально возможной дисперсией, т.е. является эффективной оценкой параметра 0 при условии равенства предполагаемого распределения истинному. Отличиеотобусловливает снижение эффективности оценок. Это отличие, в частности, может быть обусловлено присутствием в выборке "посторонних включений" – наблюдений из совокупности, описываемой другими законами распределения. Оценки максимального правдоподобия могут быть менее эффективными по сравнению с оценками, не лучшими в идеальных условиях, но выигрывающими в эффективности в реальных ситуациях статистического оценивания. Такие оценки благодаря Хыоберу получили название робастных.

Мерой относительной эффективности оценок выступает отношение их погрешностей. В качестве погрешности как меры точности измерения широко используются средняя абсолютная ошибка

(7.6)

и средняя квадратическая ошибка

(7.7)

где – г-е значение случайной величины; – среднее значение случайной величины.

Выбор этих и других мер погрешности относится к категории предпочтений того или иного критерия точности оценивания. При выборе достаточно общего байесовского критерия минимума среднего риска ошибок мера погрешности (7.6) соответствует линейной функции стоимости ошибки, а мера (7.7) – квадратичной.

Робастность в широком смысле можно трактовать как устойчивость оценок в условиях отклонения истинного закона распределения от предполагаемого. Робастность в узком смысле можно трактовать как устойчивость при наличии грубых ошибок, или "засорений", выборки экстремальными наблюдениями. Последний подход хорошо прослеживается на примере оценивания параметра сдвига симметричного распределения.

Задача оценивания параметра сдвига симметричного распределения является одной из важнейших статистических задач, имеющих прикладное значение. Примерами таких распределений могут служить распределение Лапласа

и нормальное распределение

(7.8)

где– параметр сдвига распределения относительно нуля, определяющий положение центра симметрии.

Зависимость симметричного распределения от параметра сдвига можно представить в виде

Оценку максимального правдоподобия (7.5) для параметра сдвига для случая нормального распределения признака (7.8) можно получить путем дифференцирования плотности вероятности функции правдоподобия или монотонно связанного с ней ее логарифма (что намного удобнее)

по параметру сдвига р и приравнивания результата к нулю. В результате для распределения (7.8) с точностью до постоянного множителя, не зависящего от р, получаем уравнение

(7.9)

левая часть которого представляет собой сумму так называемых оценочных функций (score functions)

(7.10)

Оценочная функция может иметь вид, отличный от выражения (7.10).

Оценочную функцию можно использовать для определения весовой функции , если она существует:

(7.11)

Выразив оценочную функцию через весовую из формулы (7.11) и подставив ее в уравнение (7.9), убедимся в том, что весовая функция соответствует своему названию в смысле определения веса каждого наблюдения в формировании оценки параметра сдвига:

Для оценочной функции (7.10) все наблюдения х, равноправны в формировании оценки Д. Для случая отсутствия в выборке "посторонних" объектов это логично. Однако наличие аномальных наблюдений может существенно исказить оценку параметра сдвига нормальной совокупности. Избежать этого можно путем выявления аномалий и их исключения из выборки подобно извлечению одного или нескольких лезвий из складного ножа (jackknife). Этот принцип лежит в основе джекнайф- процедур оценивания. Их недостатком является отсечение в явном или неявном виде не истинно аномальных наблюдений, а наблюдений, признаваемых аномальными или "подозрительными" на основе выбранного решающего правила, что может привести к искажениям и информационным потерям.

Более общий и часто менее радикальный метод оценки при наличии "засорений" выборки предполагает такую трансформацию оценочной функции, при которой обеспечивается как уменьшение искажающего влияния аномальных наблюдений, так и достаточно полное использование информации, содержащейся в выборке.

Для нормально распределенной генеральной совокупности с плотностью вероятности (7.8) средняя арифметическая величина является несмещенной, состоятельной и эффективной оценкой параметра сдвига в виде математического ожидания р. Однако эффективность ее падает с утяжелением "хвостов" распределения, т.е. наличием достаточно большого числа наблюдений, значительно удаленных от среднего значения. Дж. Тыоки исследовал влияние выбросов на эффективность оценки генерального среднего (параметра сдвига). В качестве модели распределения, полагаемого при оценивании нормальным, он использовал смесь двух нормальных распределений, в которой к основному распределению добавлено с весомраспределение с тем же параметром сдвига, но втрое большей дисперсией [41]:

(7.12)

Величина е определяет вероятность попадания аномальных наблюдений в нормальную выборку с единичной дисперсией, и она, как правило, невелика. 'Гьюки показал, что при таком засорении оценки методом максимального правдоподобия неустойчивы: их эффективность резко снижается и оказывается худшей, чем оценка усеченного среднего

где – наблюдения , для которых модуль отклонения от р меньше некоторого порога k. Функция веса всех наблюдений при определении среднего значения приведена на рис. 7.6.

Весовая функция при вычислении усеченного среднего

Рис. 7.6. Весовая функция при вычислении усеченного среднего

Прием обнуления наблюдений за пределами некоторого диапазона и приписывания одинаковых положительных весов остальным ("хвостовым") значениям называют цензурированием выборки. Недостатком оценки Тьюки, как и многих других устойчивых оценок, является ее зависимость от оцениваемого параметра, влияющего на диапазон, за пределами которого данные подвергаются "цензуре", т.е. удаляются как ненадежные.

Хьюбер в качестве функции, описывающей "засорения", рассматривал произвольную симметричную функциюс нулевым математическим ожиданием. Оценочную функцию необходимо выбрать таким образом, чтобы при наихудшем засорении оценка обладала минимальным средним квадратом отклонения от истинного значения параметра сдвига:

Разложив в ряд Тейлора оценочную функцию и ограничившись линейным членом, получим приближенное равенство

где – производная оценочной функции по параметру сдвига ц.

Правая часть этого равенства представляет собой отношение средних значений оценочной функции и ее производной.

Асимптотическая дисперсия оценкисоставит

где

Согласно теореме Хыобера [13, 41) если функциядважды дифференцируема иявляется выпуклой функцией, а оценку ц получают из уравнения (7.9), то асимптотическая дисперсияимеет седловую точку, т.е. существуют такиеи, что

и , а взаимосвязь параметров £ и к описывается равенством

где– интегральная функция нормального распределения, тогда наибольшее ухудшение эффективности функцийнаблюдается при экспоненциальном убывании плотности вероятности:

При такой плотности распределения оценочная функция с минимальной асимптотической дисперсией имеет вид

Эта оценочная функция предполагает расчет оценки в виде среднего значения, с той лишь разницей, что все наблюдения, превышающие пороговое значение к. принимаются равными к, а наблюдения, меньшие (-к), берутся равными (-к). Таким образом, по мере удаления от границ интервала (-к, к) значения л* в весовой функции (7.11) убывают экспоненциально (рис. 7.7).

Вид весовой функции при вычислении оценки Хьюбера для наихудшего распределения

Рис. 7.7. Вид весовой функции при вычислении оценки Хьюбера для наихудшего распределения

Оценка Хьюбера, наилучшая при наихудшем распределении "загрязняющей" совокупности, оказывается неустойчивой при нарушении симметрии распределений. Различные варианты оценочных и, соответственно, весовых функций были предложены Л. Д. Мешалкиным, Д. Ф. Эндрюсом, Ф. Р. Хампелем [41] и другими для устойчивого оценивания параметра сдвига и параметра масштаба, в качестве которого обычно рассматривают среднее квадратическое отклонение.

Оценочное уравнение при реализации метода максимального правдоподобия для получения оценки среднего квадратического отклонения а в нормальной совокупности можно представить в виде

Получаемая оценка в отсутствие "засорений" выборки обладает минимально возможной дисперсией, т.е. является эффективной.

Параметр сдвига симметричного распределения, определенный ранее как математическое ожидание, совпадает с медианой. Медианная, или /"-оценка параметра сдвига может быть найдена из уравнения

где– знаковая функция.

По эффективности она уступает оценке из уравнения (7.9). Ее относительная асимптотическая эффективность в виде отношения дисперсий при отсутствии "засорения" составляет. Но для "засоренной" в соответствии с моделью (7.12) выборки при е = 0,05 наблюдается снижение асимптотической эффективности оценки максимального правдоподобия до 0,808, в то время как для ти-оценки она равна 0,669.

При засорениях h(x-i), описываемых другими законами распределения, и такой же их доле в выборке (е = 0,05) наблюдается существенное преобладание эффективности медианных оценок над эффективностью максимально правдоподобных. Так, при их распределении по закону Лапласа h(x-р) = 0,5ехр(-|.г-р|) асимптотическая эффективность максимально правдоподобной оценки снижается до 0,682, а у /w-оценки она составляет 0,894. Для случая засорения с равномерным распределением на интервале () соответствующие величины составляют 0,362 и 0,781.

Для среднего квадратического отклонения w-оценка может быть найдена из уравнения

Ее асимптотическая эффективность в отсутствие "засорения" равна 0,37.

Пример 7.6 [41]

Имеется "засоренная" выборка (л,,лг2,...,дгдг), каждый элемент которой с вероятностью 1 – £ подчиняется нормальному распределению с генеральной средней р и единичной дисперсией, а с вероятностью е является грубой ошибкой с произвольным законом распределения, но с той же средней р. Необходимо получить оценку генеральной средней р.

Решение

Так как рассматриваемая модель относится к симметричным распределениям относительно р, то надо полагать, что грубые ошибки с равной вероятностью появляются как в области малых, так и в области больших значений.

Воспользуемся теоремой Хьюбера и определим функцию

Следовательно, наихудшее засорение сосредоточено вне интервала (-к: к). Длина этого интервала зависит от степени засорения е.

Из теоремы Хьюбера имеем

Перепишем выражение, умножив правую и левую части на гк. Тогда для дальнейших рассуждений данное выражение более удобно представить в виде

Пусть в–>0 при &-"оо, тогда |/0(.r)–>.v. Следовательно, в этом случае оценка для |Д будет представлять собой оценку методом наименьших квадратов:

Эта задача сводится к решению уравнения, которое дает оценку в виде среднего арифметического

При и оценка для ц будет определяться по методу наименьших модулей:

Решение соответствующей этой задачи сводится к поиску корня уравнения , который представляет собой выборочную медиану. Таким образом, выборочная средняя арифметическая и выборочная медиана являются предельными положениями оценки параметра р.

В общем случае, когда, оценка получается при решении задачи на определение минимума

В этом случае

В зависимости от величины наблюдаемых значений процедура Хыобера разделяет наблюдения на основные и засоряющие. Если величины наблюдаемых значений меньше к по абсолютной величине (Ы < к), то наблюдения относятся к основным и их значения учитываются в квадрате. Если же значения наблюдаемых величин равны по модулю к или превосходят его, то наблюдения относят к засоряющим. В этом случае учитывается модуль их значений.

Таким образом, оценка Хыобера включает в себя свойства выборочной средней арифметической и выборочной медианы. Она обладает высокой эффективностью и достаточной устойчивостью (робастностью). Это означает, что оценка Хыобера мало изменяется при появлении резко выделяющихся наблюдений. Данная оценка является определенным усовершенствованием метода наименьших квадратов. Для получения этой оценки в силу ее зависимости от к и е можно воспользоваться таблицей значений функции к = к(е) (табл. 7.6).

Таблица 7.6

Значения ε и k для оценок Хьюбера

0

0,01

1,945

0,15

0,980

0,4

0,550

0,001

2,630

0,02

1,717

0,20

0,862

0,5

0,436

0,002

2,435

0,05

1,399

0,25

0.766

0,65

0,291

0,005

2,160

0,10

1,140

0.3

0,685

0,80

0,162

Хьюбером определено, что оценка р недостаточно чувствительна к изменениям критерия k в интервале от 1 до 2. По этой причине рекомендуется в случае неизвестного значения доли засорения е>0,2 в качестве к брать величину в интервале (1; 2).

Для иллюстрации потери эффективности средней арифметической оценки по сравнению с оценкой Хыобера полезно рассмотреть табл. 7.7.

Таблица 7.7

Эффективность оценок Хьюбераи при различной степени засорения б

Засоренность, е

0

0,01

0,05

0.10

0.20

0,50

1,00

1,10

1,55

2,23

4.08

20,10

1,00

1,06

1,26

1.49

2.05

5.93

Отличие истинного вида закона распределения, которому подчиняются данные, от предполагаемого может оказывать существенное влияние на получаемые оценки. Однако даже если отличие в виде закона распределения отсутствует, нарушение исходных ограничений на его характеристики также обусловливает ухудшение свойств оценок. Примером может служить оценивание по выборке, параметров линейной регрессионной модели для генеральной совокупности, из которой извлечена эта выборка:

Согласно теореме Гаусса – Маркова оценкиикоэффициентов и, полученные методом наименьших квадратов, будут эффективными при выполнении определенных условий соответствия классической регрессионной модели, в частности нормальности распределения случайных отклонений £, а также постоянства их дисперсии (гомоскедастичности) и некоррелированности, т.е. скалярности их ковариационной матрицы:

Отличие ковариационной матрицы остатков регрессионной модели от скалярной, т.е., порождает снижение эффективности оценок. Это не было бы существенной проблемой, если бы правильно оценивались значения их погрешностей. Оценки дисперсий коэффициентов в классической модели являются диагональными элементами ковариационной матрицы коэффициентов

оценка которой имеет вид

(7.13)

где ;

Если истинная ковариационная матрица остатков отлична от скалярной, то несложно показать, что оценка корреляционной матрицы коэффициентов должна определяться по формуле

(7.14)

Оценки такого вида получили название сэндвичных по аналогии с наличием одинаковых компонентов по краям и "начинке" в центральной части.

Так как истинная ковариационная матрица остатков 2 неизвестна, то в устойчивом оценивании для случая гетероскедастичности (нарушения условия гомоскедастичности) X. Уайтом [52] было предложено заменить ее оценкой в виде

(7.15)

Получаемые при этом робастные оценки дисперсий (стандартных отклонений) для компонентов параметраназывают ошибками в форме Уайта.

Более общий случай одновременно гетероскедастичности и коррелированности остатков рассмотрен В. К. Ныои и К. Д. Вестом (1987), предложившими использовать вместо неизвестной корреляционной матрицы оценку

где

Весовые коэффициентыобеспечивают положительную определенность матрицы. Оценки дисперсий (стандартных отклонений) коэффициентов, рассчитываемые на основе этой матрицы, являются состоятельными и называются ошибками в форме НьюиВеста.

Использование робастных оценок погрешностей оценивания параметров регрессионной модели позволяет избежать эффекта получения в среднем чрезмерно оптимистичных результатов ее идентификации.

Пример 7.7

Для построения модели среднедушевых сбережений используем данные работы |29| о доходах д* и сбережениях у одинаковых по численному составу домохозяйств, приведенные в табл. 7.8.

Таблица 7.8

Среднедушевые сбережения (у) и среднедушевые доходы (л) домохозяйств, тыс. руб.

№ п/п

1

2

3

4

5

6

7

8

У

0,3

0,1

1,0

0,8

2,2

2,5

2,0

3,8

X

3,9

5,0

7,2

10

13,3

18

19,4

22,3

У

3.1

5,0

6,2

5.0

5,3

8,8

9,2

6.8

X

29

30,8

39,0

43,5

50,2

54,9

61,0

63,0

Решение

Диаграмма рассеяния объектов в пространстве исходных признаков приведена на рис. 7.8. Заметны различия разброса среднедушевых сбережений при разных уровнях среднедушевых доходов домохозяйств.

Диаграмма рассеяния среднедушевых доходов (ось абсцисс) и среднедушевых сбережений (ось ординат) домашних хозяйств

Рис. 7.8. Диаграмма рассеяния среднедушевых доходов (ось абсцисс) и среднедушевых сбережений (ось ординат) домашних хозяйств

Оценка линейной регрессионной модели обычным методом наименьших квадратов дает следующие результаты:

Под значениями коэффициентов приведены оценки их стандартных значений в соответствии с формулой (7.13). В то же время робастная оценка ошибки оценивания коэффициента при регрессоре в виде оценки погрешности в форме Уайта в соответствии с формулой (7.14) с учетом оценки (7.15) составляет 0.0135.

 
<<   СОДЕРЖАНИЕ   >>