Оценка теста - Score test

В статистика, то оценка теста оценивает ограничения на статистические параметры на основе градиент из функция правдоподобия -известный как Гол - оценивается при предполагаемом значении параметра при нулевая гипотеза. Интуитивно понятно, что если ограниченная оценка находится рядом с максимум функции правдоподобия оценка не должна отличаться от нуля более чем на ошибка выборки. В то время конечные выборочные распределения балльных тестов, как правило, неизвестны, он имеет асимптотический χ²-распространение при нулевой гипотезе, впервые доказанной К. Р. Рао в 1948 г.,^[1] факт, который можно использовать для определения Статистическая значимость.

Поскольку максимизация функции с учетом ограничений равенства наиболее удобно выполнять с использованием выражения Лагранжа задачи, оценочный тест можно эквивалентно понимать как тест величина из Множители Лагранжа связанный с ограничениями, где, опять же, если ограничения не являются обязательными при максимальной вероятности, вектор множителей Лагранжа не должен отличаться от нуля более чем на ошибку выборки. Эквивалентность этих двух подходов впервые была показана С. Д. Силви в 1959 г.,^[2] что привело к названию Тест множителя Лагранжа это стало более распространенным, особенно в эконометрике, поскольку Breusch и Языческий Много цитируемая статья 1980 года.^[3]

Главное преимущество оценочного теста перед Тест Вальда и критерий отношения правдоподобия состоит в том, что оценочный тест требует только вычисления ограниченной оценки.^[4] Это делает тестирование возможным, когда неограниченная оценка максимального правдоподобия является граничная точка в пространство параметров.^{[нужна цитата ]} Кроме того, поскольку оценочный тест требует только оценки функции правдоподобия при нулевой гипотезе, он менее конкретен, чем два других теста, относительно точного характера альтернативной гипотезы.^[5]

Однопараметрический тест

Статистика

Позволять ${\displaystyle L}$ быть функция правдоподобия который зависит от одномерного параметра ${\displaystyle \theta }$ и разреши ${\displaystyle x}$ быть данными. Счет ${\displaystyle U(\theta )}$ определяется как

${\displaystyle U(\theta )={\frac {\partial \log L(\theta \mid x)}{\partial \theta }}.}$

В Информация Fisher является^[6]

${\displaystyle I(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log L(X;\theta )\right|\theta \right]\,.}$

Статистика для проверки ${\displaystyle {\mathcal {H}}_{0}:\theta =\theta _{0}}$ является${\displaystyle S(\theta _{0})={\frac {U(\theta _{0})^{2}}{I(\theta _{0})}}}$

который имеет асимптотическое распределение из ${\displaystyle \chi _{1}^{2}}$, когда ${\displaystyle {\mathcal {H}}_{0}}$ правда. Хотя асимптотически идентично, вычисление статистики LM с использованием оценка продукта внешнего градиента информационной матрицы Фишера может привести к смещению в небольших выборках.^[7]

Примечание к обозначениям

Обратите внимание, что в некоторых текстах используются альтернативные обозначения, в которых статистика ${\displaystyle S^{*}(\theta )={\sqrt {S(\theta )}}}$ проверяется на нормальное распределение. Этот подход эквивалентен и дает идентичные результаты.

Как самый мощный тест на небольшие отклонения

${\displaystyle \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}\geq C}$

где ${\displaystyle L}$ это функция правдоподобия, ${\displaystyle \theta _{0}}$ - значение интересующего параметра при нулевой гипотезе, а ${\displaystyle C}$ - постоянный набор, зависящий от размера желаемого теста (т. е. вероятность отклонения ${\displaystyle H_{0}}$ если ${\displaystyle H_{0}}$ правда; увидеть Ошибка типа I ).

Оценочный тест - это самый эффективный тест на небольшие отклонения от ${\displaystyle H_{0}}$. Чтобы убедиться в этом, рассмотрите возможность тестирования ${\displaystyle \theta =\theta _{0}}$ против ${\displaystyle \theta =\theta _{0}+h}$. Посредством Лемма Неймана – Пирсона., самый мощный тест имеет вид

${\displaystyle {\frac {L(\theta _{0}+h\mid x)}{L(\theta _{0}\mid x)}}\geq K;}$

Взятие бревна с обеих сторон дает

${\displaystyle \log L(\theta _{0}+h\mid x)-\log L(\theta _{0}\mid x)\geq \log K.}$

Оценка теста следует за заменой ( Серия Тейлор расширение)

${\displaystyle \log L(\theta _{0}+h\mid x)\approx \log L(\theta _{0}\mid x)+h\times \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}}$

и определение ${\displaystyle C}$ выше с ${\displaystyle \log(K)}$.

Связь с другими тестами гипотез

Если нулевая гипотеза верна, тест отношения правдоподобия, то Тест Вальда, и тест Score - это асимптотически эквивалентные тесты гипотез.^[8][9] При тестировании вложенные модели, статистика для каждого теста затем сходится к распределению хи-квадрат со степенями свободы, равными разнице степеней свободы в двух моделях. Однако, если нулевая гипотеза не верна, статистика сходится к нецентральному распределению хи-квадрат с возможно другими параметрами нецентральности.

Несколько параметров

Тест с более общей оценкой может быть получен при наличии более одного параметра. Предположим, что ${\displaystyle {\widehat {\theta }}_{0}}$ это максимальная вероятность оценка ${\displaystyle \theta }$ при нулевой гипотезе ${\displaystyle H_{0}}$ в то время как ${\displaystyle U}$ и ${\displaystyle I}$ являются соответственно оценкой и информационными матрицами Фишера согласно альтернативной гипотезе. потом

${\displaystyle U^{T}({\widehat {\theta }}_{0})I^{-1}({\widehat {\theta }}_{0})U({\widehat {\theta }}_{0})\sim \chi _{k}^{2}}$

асимптотически под ${\displaystyle H_{0}}$, где ${\displaystyle k}$ - количество ограничений, налагаемых нулевой гипотезой, и

${\displaystyle U({\widehat {\theta }}_{0})={\frac {\partial \log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta }}}$

и

${\displaystyle I({\widehat {\theta }}_{0})=-\operatorname {E} \left({\frac {\partial ^{2}\log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta \,\partial \theta '}}\right).}$

Это можно использовать для проверки ${\displaystyle H_{0}}$.

Особые случаи

Во многих ситуациях статистика оценок сводится к другой часто используемой статистике.^[10]

В линейная регрессия, критерий множителя Лагранжа можно выразить как функцию F-тестовое задание.^[11]

Когда данные соответствуют нормальному распределению, статистика баллов такая же, как и у t статистика.^{[требуется разъяснение ]}

Когда данные состоят из двоичных наблюдений, статистика баллов такая же, как статистика хи-квадрат в Критерий хи-квадрат Пирсона.

Когда данные состоят из данных о времени отказа в двух группах, статистика оценок для Частичная вероятность Кокса совпадает со статистикой логарифмического ранга в логранговый тест. Следовательно, логранговый тест на разницу в выживаемости между двумя группами наиболее эффективен, когда выполняется предположение о пропорциональных рисках.

Смотрите также

• Информация Fisher
• Единообразно самый мощный тест
• Оценка (статистика)
• Sup-LM тест

использованная литература

1. Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества. 44 (1): 50–57. Дои:10.1017 / S0305004100023987.
2. Силви, С. Д. (1959). «Тест множителя Лагранжа». Анналы математической статистики. 30 (2): 389–407. Дои:10.1214 / aoms / 1177706259. JSTOR  2237089.
3. Бреуш, Т.С.; Пэган, А. (1980). «Тест множителя Лагранжа и его приложения к спецификации моделей в эконометрике». Обзор экономических исследований. 47 (1): 239–253. JSTOR  2297111.
4. Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения. Берлин: Springer. стр.663 –664. ISBN  978-3-642-34332-2.
5. Кеннеди, Питер (1998). Руководство по эконометрике (Четвертое изд.). Кембридж: MIT Press. п. 68. ISBN  0-262-11235-3.
6. Леманн и Казелла, ур. (2.5.16).
7. Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1983). «Малая выборка свойств альтернативных форм теста множителя Лагранжа». Письма по экономике. 12 (3–4): 269–275. Дои:10.1016/0165-1765(83)90048-4.
8. Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, M.D .; Грилихес, З. (ред.). Справочник по эконометрике. II. Эльзевир. С. 796–801. ISBN  978-0-444-86185-6.
9. Буржиковски, Анджей Галецкий, Томаш (2013). Линейные модели смешанных эффектов с использованием R: пошаговый подход. Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN  1461438993.
10. Cook, T. D .; ДеМец, Д. Л., ред. (2007). Введение в статистические методы клинических испытаний. Чепмен и Холл. С. 296–297. ISBN  1-58488-027-9.
11. Вандаэле, Уолтер (1981). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа как F-тест». Письма по экономике. 8 (4): 361–365. Дои:10.1016/0165-1765(81)90026-4.

дальнейшее чтение

• Бузе, А. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик. 36 (3а): 153–157. Дои:10.1080/00031305.1982.10482817.
• Годфри, Л. Г. (1988). «Тест множителя Лагранжа и проверка на предмет ошибок спецификации: расширенный анализ». Тесты на неправильную спецификацию в эконометрике. Нью-Йорк: Издательство Кембриджского университета. С. 69–99. ISBN  0-521-26616-5.
• Рао, К. Р. (2005). «Оценка теста: исторический обзор и последние события». Достижения в ранжировании и отборе, множественных сравнениях и надежности. Бостон: Биркхойзер. С. 3–20. ISBN  978-0-8176-3232-8.