Кредитное плечо (статистика) - Leverage (statistics)

В статистика и в частности в регрессивный анализ, использовать это мера того, как далеко независимая переменная ценности наблюдение взяты из других наблюдений.

Пункты с высоким кредитным плечом это те наблюдения, если таковые имеются, сделанные при экстремальных или выпадающих значениях независимых переменных, так что отсутствие соседних наблюдений означает, что подобранная регрессионная модель будет проходить близко к этому конкретному наблюдению.^[1]

Определение

в линейная регрессия модель, оценка кредитного плеча для я-е наблюдение определяется как:

${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii},}$

то я-й диагональный элемент матрица проекции ${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}}$, куда ${\displaystyle \mathbf {X} }$ это матрица дизайна (чьи строки соответствуют наблюдениям, а столбцы - независимым или объясняющим переменным).

Интерпретация

Оценка кредитного плеча также известна как самочувствительность наблюдения или самовлияние,^[2] из-за уравнения

${\displaystyle h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}},}$

в котором говорится, что рычаги я-е наблюдение равно частная производная приспособленных я-ое зависимое значение ${\displaystyle {\widehat {y\,}}_{i}}$относительно измеренного я-ое зависимое значение ${\displaystyle y_{i}}$. Эта частная производная описывает степень, в которой я-ое измеренное значение влияет на я-е подходящее значение. Обратите внимание, что это плечо зависит от значений объясняющих (x-) переменных всех наблюдений, но не от каких-либо значений зависимых (y-) переменных.

Уравнение ${\displaystyle h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}}}$следует непосредственно из вычисления подобранных значений через шляпа матрица в качестве ${\displaystyle {\mathbf {\widehat {y}} }={\mathbf {H} }{\mathbf {y} }}$; то есть кредитное плечо - это диагональный элемент матрицы дизайна:

${\displaystyle h_{ii}=\mathbf {H} (i,i).}$

Границы кредитного плеча

${\displaystyle 0\leq h_{ii}\leq 1.}$

Доказательство

Во-первых, обратите внимание, что ЧАС является идемпотентная матрица: ${\displaystyle H^{2}=X(X^{\top }X)^{-1}X^{\top }X(X^{\top }X)^{-1}X^{\top }=XI(X^{\top }X)^{-1}X^{\top }=H.}$ Также обратите внимание, что ${\displaystyle H}$ симметричен (т. е .: ${\displaystyle h_{ij}=h_{ji}}$). Итак, приравнивая ii элемент ЧАС к тому из ЧАС ², у нас есть

${\displaystyle h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}\geq 0}$

и

${\displaystyle h_{ii}\geq h_{ii}^{2}\implies h_{ii}\leq 1.}$

Влияние на остаточную дисперсию

Если мы находимся в обыкновенный метод наименьших квадратов установка с фиксированным X и гомоскедастический ошибки регрессии ${\displaystyle \varepsilon _{i},}$

${\displaystyle Y=X\beta +\varepsilon ;\ \ \operatorname {Var} (\varepsilon )=\sigma ^{2}I}$

затем я-th остаток регрессии

${\displaystyle e_{i}=Y_{i}-{\widehat {Y}}_{i}}$

имеет отклонение

${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}}$

Другими словами, оценка рычага наблюдения определяет степень шума в неверном прогнозе модели для этого наблюдения, причем более высокий рычаг приводит к меньшему шуму.

Доказательство

Во-первых, обратите внимание, что ${\displaystyle I-H}$ идемпотентно и симметрично, и ${\displaystyle {\widehat {Y}}=HY}$. Это дает

${\displaystyle \operatorname {Var} (e)=\operatorname {Var} ((I-H)Y)=(I-H)\operatorname {Var} (Y)(I-H)^{\top }=\sigma ^{2}(I-H)^{2}=\sigma ^{2}(I-H).}$

Таким образом ${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}.}$

Студентизированные остатки

Соответствующие студенизированный остаток - остаток, скорректированный на его оценочную остаточную дисперсию для конкретного наблюдения, - тогда

${\displaystyle t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

куда ${\displaystyle {\widehat {\sigma }}}$ является подходящей оценкой ${\displaystyle \sigma .}$

Связанные понятия

Частичное кредитное плечо

Основная статья: Частичное кредитное плечо

Частичное кредитное плечо - это мера вклада отдельного независимые переменные Современные компьютерные пакеты для статистического анализа включают, как часть их средств для регрессионного анализа, различные количественные меры для идентификации влиятельные наблюдения, включая такую ​​меру того, как независимая переменная вносит свой вклад в общий рычаг данных.

Расстояние Махаланобиса

Кредитное плечо тесно связано с Расстояние Махаланобиса^[3] (см. доказательство: ^[4]).

В частности, для некоторой матрицы ${\displaystyle X_{n,p}}$ квадрат расстояния Махаланобиса некоторого вектора-строки ${\displaystyle {\vec {x_{i}}}=X_{i,\cdot }}$ от вектора среднего ${\displaystyle {\hat {\mu }}={\bar {X}}}$, длины ${\displaystyle p}$, а с оценкой ковариационная матрица ${\displaystyle S=cov(X)}$ является:

${\displaystyle D^{2}({\vec {x_{i}}})=({\vec {x_{i}}}-{\hat {\mu }})^{T}S^{-1}({\vec {x_{i}}}-{\hat {\mu }})}$

Это связано с кредитным плечом ${\displaystyle h_{ii}}$ матрицы шляпы ${\displaystyle X_{n,p}}$ после добавления к нему вектора-столбца из единиц. Отношения между ними следующие:

${\displaystyle D^{2}({\vec {x_{i}}})=(n-1)(h_{ii}-{\tfrac {1}{n}})}$

Взаимосвязь между кредитным плечом и расстоянием Махаланобиса позволяет нам разложить кредитное плечо на значимые компоненты, чтобы можно было аналитически исследовать некоторые источники высокого кредитного плеча. ^[5]

Программные реализации

Многие программы и статистические пакеты, такие как р, Python и т. д., включают реализации кредитного плеча.

Язык / Программа	Функция	Примечания
р	шляпа (x, перехват = ИСТИНА) или же hatvalues ​​(модель, ...)	Видеть [1]

Смотрите также

• Матрица проекции - чьи основные диагональные записи являются рычагами наблюдений
• Расстояние Махаланобиса - а (масштабированный ) мера рычага базы данных
• Расстояние повара - мера изменений коэффициентов регрессии при удалении наблюдения
• DFFITS
• Выброс - наблюдения с экстремальным Y значения
• Степени свободы (статистика), сумма баллов кредитного плеча

Рекомендации

1. Эверитт, Б. С. (2002). Кембриджский статистический словарь. Издательство Кембриджского университета. ISBN  0-521-81099-X.
2. Кардинали, К. (июнь 2013 г.). «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF).
3. Weiner, Irving B .; Schinka, John A .; Велисер, Уэйн Ф. (23 октября 2012 г.). Справочник по психологии, методам исследования в психологии. Джон Вили и сыновья. ISBN  978-1-118-28203-8.
4. Доказать связь между расстоянием Махаланобиса и кредитным плечом?
5. Ким, М. Г. (2004). «Источники высокого кредитного плеча в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv:2006.04024 [math.ST ].