Расстояние повара - Cooks distance

В статистика, Расстояние повара или же Повара D является обычно используемой оценкой влияние точки данных при выполнении метода наименьших квадратов регрессивный анализ.^[1] В практическом обыкновенный метод наименьших квадратов При анализе расстояние Кука можно использовать несколькими способами: для обозначения важных точек данных, достоверность которых особенно стоит проверить; или указать области пространства дизайна, где было бы хорошо получить больше точек данных. Он назван в честь американского статистика. Р. Деннис Кук, который представил концепцию в 1977 году.^[2][3]

Определение

Точки данных с большим остатки (выбросы ) и / или высокий использовать может исказить результат и точность регрессии. Расстояние Кука измеряет эффект удаления данного наблюдения. Считается, что точки с большим расстоянием Кука заслуживают более внимательного изучения при анализе.

Для алгебраического выражения сначала определите

${\displaystyle {\underset {n\times 1}{\mathbf {y} }}={\underset {n\times p}{\mathbf {X} }}\quad {\underset {p\times 1}{\boldsymbol {\beta }}}\quad +\quad {\underset {n\times 1}{\boldsymbol {\varepsilon }}}}$

куда ${\displaystyle {\boldsymbol {\varepsilon }}\sim {\mathcal {N}}\left(0,\sigma ^{2}\mathbf {I} \right)}$ это срок ошибки, ${\displaystyle {\boldsymbol {\beta }}=\left[\beta _{0}\,\beta _{1}\dots \beta _{p-1}\right]}$ - матрица коэффициентов, ${\displaystyle p}$ - количество ковариат или предикторов для каждого наблюдения, и ${\displaystyle \mathbf {X} }$ это матрица дизайна включая константу. В наименьших квадратов тогда оценка ${\displaystyle \mathbf {b} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$, и, следовательно, подобранные (предсказанные) значения для среднего ${\displaystyle \mathbf {y} }$ находятся

${\displaystyle \mathbf {\widehat {y}} =\mathbf {X} \mathbf {b} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} =\mathbf {H} \mathbf {y} }$

куда ${\displaystyle \mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$ это матрица проекции (или шляпная матрица). В ${\displaystyle i}$-й диагональный элемент ${\displaystyle \mathbf {H} \,}$, данный ${\displaystyle h_{ii}\equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _{i}}$,^[4] известен как использовать из ${\displaystyle i}$-е наблюдение. Точно так же ${\displaystyle i}$-й элемент остаточного вектора ${\displaystyle \mathbf {e} =\mathbf {y} -\mathbf {\widehat {y\,}} =\left(\mathbf {I} -\mathbf {H} \right)\mathbf {y} }$ обозначается ${\displaystyle e_{i}}$.

Расстояние повара ${\displaystyle D_{i}}$ наблюдения ${\displaystyle i\;({\text{for }}i=1,\dots ,n)}$ определяется как сумма всех изменений в регрессионной модели при наблюдении ${\displaystyle i}$ удален из него^[5]

${\displaystyle D_{i}={\frac {\sum _{j=1}^{n}\left({\widehat {y\,}}_{j}-{\widehat {y\,}}_{j(i)}\right)^{2}}{ps^{2}}}}$

куда ${\displaystyle {\widehat {y\,}}_{j(i)}}$ является подобранным значением отклика, полученным при исключении ${\displaystyle i}$, и ${\displaystyle s^{2}={\frac {\mathbf {e} ^{\top }\mathbf {e} }{n-p}}}$ это среднеквадратичная ошибка регрессионной модели.^[6]

Точно так же это можно выразить с помощью кредитного плеча.^[5] (${\displaystyle h_{ii}}$):

${\displaystyle D_{i}={\frac {e_{i}^{2}}{ps^{2}}}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right].}$

Обнаружение очень важных наблюдений

Существуют разные мнения относительно того, какие пороговые значения использовать для определения высоких влиятельные точки. Поскольку расстояние Кука находится в метрике F распределение с ${\displaystyle p}$ и ${\displaystyle n-p}$ (как определено для матрицы проектирования ${\displaystyle \mathbf {X} }$ выше) степеней свободы, средняя точка (т. е. ${\displaystyle F_{0.5}(p,n-p)}$) можно использовать в качестве отсечки.^[7] Поскольку это значение близко к 1 для больших ${\displaystyle n}$, простое руководство по эксплуатации ${\displaystyle D_{i}>1}$ было предложено.^[8]Обратите внимание, что мера расстояния Кука не всегда правильно определяет важные наблюдения.^[9]

Связь с другими мерами влияния (и интерпретация)

${\displaystyle D_{i}}$ можно выразить с помощью Использовать^[5] (${\displaystyle 0\leq h_{ii}\leq 1}$) и квадрат внутри Студентизованный остаток (${\displaystyle 0\leq t_{i}^{2}}$), следующее:

${\displaystyle {\begin{aligned}D_{i}&={\frac {e_{i}^{2}}{ps^{2}}}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right]={\frac {1}{p}}{\frac {e_{i}^{2}}{{1 \over n-p}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}(1-h_{ii})}}\left[{\frac {h_{ii}}{(1-h_{ii})}}\right]\\&=\left[{\frac {1}{p}}\right]t_{i}^{2}{\frac {h_{ii}}{1-h_{ii}}}.\end{aligned}}}$

Преимущество последней формулировки состоит в том, что она ясно показывает взаимосвязь между ${\displaystyle t_{i}^{2}}$ и ${\displaystyle h_{ii}}$ к ${\displaystyle D_{i}}$ (при этом p и n одинаковы для всех наблюдений). Если ${\displaystyle t_{i}^{2}}$ велико (для неэкстремальных значений ${\displaystyle h_{ii}}$) увеличится ${\displaystyle D_{i}}$. Если ${\displaystyle h_{ii}}$ близко к 0, чем ${\displaystyle D_{i}}$ будет маленьким, а если ${\displaystyle h_{ii}}$ близко к 1, тогда ${\displaystyle D_{i}}$ станет очень большим (пока ${\displaystyle t_{i}^{2}>0}$, то есть: что наблюдение ${\displaystyle i}$ не совсем на линии регрессии, которая была подогнана без наблюдения ${\displaystyle i}$).

${\displaystyle D_{i}}$ относится к DFFITS через следующие отношения (обратите внимание, что ${\displaystyle {{\widehat {\sigma }} \over {\widehat {\sigma }}_{(i)}}t_{i}=t_{i(i)}}$ это внешне студенизированный остаток, и ${\displaystyle {\widehat {\sigma }},{\widehat {\sigma }}_{(i)}}$ определены здесь ):

${\displaystyle {\begin{aligned}D_{i}&=\left[{\frac {1}{p}}\right]t_{i}^{2}{\frac {h_{ii}}{1-h_{ii}}}\\&=\left[{\frac {1}{p}}\right]{{\widehat {\sigma }}_{(i)}^{2} \over {\widehat {\sigma }}^{2}}{{\widehat {\sigma }}^{2} \over {\widehat {\sigma }}_{(i)}^{2}}t_{i}^{2}{\frac {h_{ii}}{1-h_{ii}}}=\left[{\frac {1}{p}}\right]{{\widehat {\sigma }}_{(i)}^{2} \over {\widehat {\sigma }}^{2}}\left(t_{i(i)}{\sqrt {\frac {h_{ii}}{1-h_{ii}}}}\right)^{2}\\&=\left[{\frac {1}{p}}\right]{{\widehat {\sigma }}_{(i)}^{2} \over {\widehat {\sigma }}^{2}}{\text{DFFITS}}^{2}\end{aligned}}}$

${\displaystyle D_{i}}$ можно интерпретировать как расстояние, на которое оценки перемещаются внутри доверительного эллипсоида, который представляет собой область вероятных значений параметров.^{[требуется разъяснение ]} Это показано альтернативным, но эквивалентным представлением расстояния Кука в терминах изменений оценок параметров регрессии между случаями, когда конкретное наблюдение либо включено, либо исключено из регрессионного анализа.

Программные реализации

Многие программы и статистические пакеты, такие как р, Python и т. д., включают реализации расстояния Кука.

Язык / Программа	Функция	Примечания
р	cooks.distance (модель, ...)	Видеть [1]
Python	CooksDistance (). Fit (X, y)	Видеть [2]

Расширения

Измерение влияния больших размеров (HIM), является альтернативой расстоянию Кука, когда ${\displaystyle p>n}$ (т.е. больше предсказателей, чем наблюдений).^[10] В то время как расстояние Кука количественно определяет влияние отдельного наблюдения на оценку коэффициента регрессии методом наименьших квадратов, HIM измеряет влияние наблюдения на предельные корреляции.

Смотрите также

• Выброс
• Кредитное плечо (статистика)
• Частичное кредитное плечо
• DFFITS
• Студентизованный остаток

Рекомендации

1. Менденхолл, Уильям; Синчич, Терри (1996). Второй курс статистики: регрессионный анализ (5-е изд.). Река Аппер Сэдл, штат Нью-Джерси: Прентис-Холл. п. 422. ISBN  0-13-396821-9. Мера общего влияния отдаленного наблюдения на предполагаемую ${\displaystyle \beta }$ коэффициенты были предложены Р. Д. Куком (1979). Дистанция Кука, D_я, рассчитывается ...
2. Кук, Р. Деннис (февраль 1977 г.). «Обнаружение влиятельных наблюдений в линейной регрессии». Технометрика. Американская статистическая ассоциация. 19 (1): 15–18. Дои:10.2307/1268249. JSTOR  1268249. МИСТЕР  0436478.
3. Кук, Р. Деннис (март 1979 г.). «Влиятельные наблюдения в линейной регрессии». Журнал Американской статистической ассоциации. Американская статистическая ассоциация. 74 (365): 169–174. Дои:10.2307/2286747. HDL:11299/199280. JSTOR  2286747. МИСТЕР  0529533.
4. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. С. 21–23. ISBN  1400823838.
5. «Поварская дистанция».
6. «Статистика 512: прикладные линейные модели» (PDF). Университет Пердью. Архивировано из оригинал (PDF) в 2016-11-30. Получено 2016-03-25.
7. Боллен, Кеннет А.; Джекман, Роберт В. (1990). «Регрессионная диагностика: подробное описание отклонений и важных случаев». В Fox, Джон; Лонг, Дж. Скотт (ред.). Современные методы анализа данных. Ньюбери-Парк, Калифорния: Сейдж. стр.266. ISBN  0-8039-3366-5.
8. Кук, Р. Деннис; Вайсберг, Сэнфорд (1982). Остатки и влияние на регресс. Нью-Йорк, Нью-Йорк: Чепмен и Холл. HDL:11299/37076. ISBN  0-412-24280-X.
9. Ким, Мён Гын (31 мая 2017 г.). «Предупреждение об использовании расстояния Кука». Коммуникации для статистических приложений и методов. 24 (3): 317–324. Дои:10.5351 / csam.2017.24.3.317. ISSN  2383-4757.
10. Мера влияния большой размерности

дальнейшее чтение

• Аткинсон, Энтони; Риани, Марко (2000). «Диагностика удаления». Надежная диагностика и регрессионный анализ. Нью-Йорк: Спрингер. С. 22–25. ISBN  0-387-95017-6.
• Heiberger, Richard M .; Голландия, Берт (2013). «Статистика дел». Статистический анализ и отображение данных. Springer Science & Business Media. С. 312–27. ISBN  9781475742848.
• Краскер, Уильям S .; Кух, Эдвин; Велш, Рой Э. (1983). «Оценка грязных данных и ошибочных моделей». Справочник по эконометрике. 1. Эльзевир. С. 651–698. Дои:10.1016 / S1573-4412 (83) 01015-6. ISBN  9780444861856.
• Агинис, Герман; Готтфредсон, Райан К .; Джу, Гарри (2013). «Рекомендации по передовой практике для определения и обработки выбросов». Организационные методы исследования. Мудрец. 16 (2): 270–301. Дои:10.1177/1094428112470848. S2CID  54916947. Получено 4 декабря 2015.