Лемма Неймана – Пирсона. - Neyman–Pearson lemma

В статистика, то Нейман – Пирсон лемма был представлен Ежи Нейман и Эгон Пирсон в статье 1933 года.^[1] Это показывает, что критерий отношения правдоподобия это самый мощный тестовое задание, среди всех возможных статистических тестов.

Предложение

Предположим, кто-то выполняет проверка гипотез между двумя простые гипотезы ${\displaystyle H_{0}:\theta =\theta _{0}}$ и ${\displaystyle H_{1}:\theta =\theta _{1}}$ с использованием критерий отношения правдоподобия с порогом отношения правдоподобия ${\displaystyle \eta }$, который отклоняет ${\displaystyle H_{0}}$ в пользу ${\displaystyle H_{1}}$ на уровне значимости

${\displaystyle \alpha =\operatorname {P} (\Lambda (x)\leq \eta \mid H_{0}),}$

где

${\displaystyle \Lambda (x)\equiv {\frac {{\mathcal {L}}(\theta _{0}\mid x)}{{\mathcal {L}}(\theta _{1}\mid x)}}}$

и ${\displaystyle {\mathcal {L}}(\theta \mid x)}$ - функция правдоподобия. Тогда лемма Неймана – Пирсона утверждает, что отношение правдоподобия ${\displaystyle \Lambda (x)}$, это самый мощный тестовое задание в уровень значимости ${\displaystyle \alpha }$.

Если испытание будет самым сильным для всех ${\displaystyle \theta _{1}\in \Theta _{1}}$, говорят, что это равномерно самый мощный (UMP) для альтернатив в наборе ${\displaystyle \Theta _{1}}$.

На практике отношение правдоподобия часто используется непосредственно для построения тестов - см. критерий отношения правдоподобия. Однако его также можно использовать, чтобы предложить конкретную статистику тестов, которая может представлять интерес, или предложить упрощенные тесты - для этого рассматривается алгебраическое манипулирование соотношением, чтобы увидеть, есть ли в нем ключевые статистические данные, связанные с размером отношения ( т.е. соответствует ли большая статистика малому отношению или большому).

Доказательство

Определите область отклонения нулевой гипотезы для теста Неймана – Пирсона (NP) как

${\displaystyle R_{\text{NP}}=\left\{x:{\frac {{\mathcal {L}}(\theta _{0}\mid x)}{{\mathcal {L}}(\theta _{1}\mid x)}}\leqslant \eta \right\}}$

где ${\displaystyle \eta }$ выбирается так, чтобы ${\displaystyle \operatorname {P} (R_{\text{NP}}\mid \theta _{0})=\alpha \,.}$

Любой альтернативный тест будет иметь другую область отклонения, которую мы обозначим ${\displaystyle R_{\text{A}}}$.

Вероятность попадания данных в любой регион ${\displaystyle R=R_{\text{A}}}$ или ${\displaystyle R=R_{\text{NP}}}$ данный параметр ${\displaystyle \theta }$ является

${\displaystyle \operatorname {P} (R\mid \theta )=\int _{R}{\mathcal {L}}(\theta \mid x)\,\operatorname {d} x\,.}$

Для теста с критической областью ${\displaystyle R_{\text{A}}}$ иметь уровень значимости ${\displaystyle \alpha }$, должно быть правда, что ${\displaystyle \alpha \geqslant \operatorname {P} (R_{\text{A}}\mid \theta _{0})}$, следовательно

${\displaystyle \alpha =\operatorname {P} (R_{\text{NP}}\mid \theta _{0})\geqslant \operatorname {P} (R_{\text{A}}\mid \theta _{0})\,.}$

Будет полезно разбить их на интегралы по отдельным областям:

${\displaystyle {\begin{aligned}\operatorname {P} (R_{\text{NP}}\mid \theta )&=\operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}\mid \theta )+\operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}^{c}\mid \theta )\\\operatorname {P} (R_{\text{A}}\mid \theta )&=\operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}\mid \theta )+\operatorname {P} (R_{\text{NP}}^{c}\cap R_{\text{A}}\mid \theta )\end{aligned}}}$

где ${\displaystyle R^{c}\equiv \{x:x\notin R\}}$ это дополнять региона р.Настройка ${\displaystyle \theta =\theta _{0}}$, эти два выражения и указанное выше неравенство дают

${\displaystyle \operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}^{c}\mid \theta _{0})\geqslant P(R_{\text{NP}}^{c}\cap R_{\text{A}}\mid \theta _{0})\,.}$

Возможности двух тестов: ${\displaystyle \operatorname {P} (R_{\text{NP}}\mid \theta _{1})}$ и ${\displaystyle \operatorname {P} (R_{\text{A}}\mid \theta _{1})}$, и мы хотим доказать, что:

${\displaystyle \operatorname {P} (R_{\text{NP}}\mid \theta _{1})\geqslant \operatorname {P} (R_{\text{A}}\mid \theta _{1})}$

Однако, как показано выше, это эквивалентно:

${\displaystyle \operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}^{c}\mid \theta _{1})\geqslant \operatorname {P} (R_{\text{NP}}^{c}\cap R_{\text{A}}\mid \theta _{1})}$

Ниже мы покажем, что указанное выше неравенство держит:

${\displaystyle {\begin{aligned}\operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}^{c}\mid \theta _{1})&=\int _{R_{\text{NP}}\cap R_{\text{A}}^{c}}{\mathcal {L}}(\theta _{1}\mid x)\,\operatorname {d} x\\[4pt]&\geqslant {\frac {1}{\eta }}\int _{R_{\text{NP}}\cap R_{\text{A}}^{c}}{\mathcal {L}}(\theta _{0}\mid x)\,\operatorname {d} x&&{\text{by definition of }}R_{\text{NP}}{\text{ this is true for its subset}}\\[4pt]&={\frac {1}{\eta }}\operatorname {P} (R_{\text{NP}}\cap R_{\text{A}}^{c}\mid \theta _{0})&&{\text{by definition of }}\operatorname {P} (R\mid \theta )\\[4pt]&\geqslant {\frac {1}{\eta }}\operatorname {P} (R_{\text{NP}}^{c}\cap R_{\text{A}}\mid \theta _{0})\\[4pt]&={\frac {1}{\eta }}\int _{R_{\text{NP}}^{c}\cap R_{\text{A}}}{\mathcal {L}}(\theta _{0}\mid x)\,\operatorname {d} x\\[4pt]&>\int _{R_{\text{NP}}^{c}\cap R_{\text{A}}}{\mathcal {L}}(\theta _{1}\mid x)\,\operatorname {d} x&&{\text{by definition of }}R_{\text{NP}}{\text{ this is true for its complement and complement subsets}}\\[4pt]&=\operatorname {P} (R_{\text{NP}}^{c}\cap R_{\text{A}}\mid \theta _{1})\end{aligned}}}$

пример

Позволять ${\displaystyle X_{1},\dots ,X_{n}}$ быть случайной выборкой из ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ распределение, где среднее ${\displaystyle \mu }$ известно, и предположим, что мы хотим проверить ${\displaystyle H_{0}:\sigma ^{2}=\sigma _{0}^{2}}$ против ${\displaystyle H_{1}:\sigma ^{2}=\sigma _{1}^{2}}$. Вероятность этого набора нормально распределенный данные

${\displaystyle {\mathcal {L}}\left(\sigma ^{2}\mid \mathbf {x} \right)\propto \left(\sigma ^{2}\right)^{-n/2}\exp \left\{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right\}.}$

Мы можем вычислить отношение правдоподобия чтобы найти ключевую статистику в этом тесте и ее влияние на результат теста:

${\displaystyle \Lambda (\mathbf {x} )={\frac {{\mathcal {L}}\left({\sigma _{0}}^{2}\mid \mathbf {x} \right)}{{\mathcal {L}}\left({\sigma _{1}}^{2}\mid \mathbf {x} \right)}}=\left({\frac {\sigma _{0}^{2}}{\sigma _{1}^{2}}}\right)^{-n/2}\exp \left\{-{\frac {1}{2}}(\sigma _{0}^{-2}-\sigma _{1}^{-2})\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right\}.}$

Это соотношение зависит только от данных через ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$. Следовательно, по лемме Неймана – Пирсона наиболее мощный испытание этого типа гипотеза эти данные будут зависеть только от ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$. Также при осмотре мы видим, что если ${\displaystyle \sigma _{1}^{2}>\sigma _{0}^{2}}$, тогда ${\displaystyle \Lambda (\mathbf {x} )}$ это убывающая функция из ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$. Итак, мы должны отказаться ${\displaystyle H_{0}}$ если ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ достаточно большой. Порог отклонения зависит от размер теста. В этом примере можно показать, что статистика теста представляет собой масштабированную случайную величину с распределением хи-квадрат, и можно получить точное критическое значение.

Применение в экономике

Вариант леммы Неймана – Пирсона нашел применение в, казалось бы, несвязанной области экономики стоимости земли. Одна из фундаментальных проблем в теория потребления рассчитывает функция спроса потребителя с учетом цен. В частности, с учетом неоднородности земельного участка, меры цены на землю и показателя субъективной полезности земли проблема потребителя состоит в том, чтобы рассчитать лучший земельный участок, который он может купить, то есть земельный участок с наибольшей полезностью, цена которого не больше его бюджета. Оказывается, эта проблема очень похожа на проблему поиска наиболее мощного статистического критерия, поэтому можно использовать лемму Неймана – Пирсона.^[2]

Использование в электротехнике

Лемма Неймана – Пирсона весьма полезна в электронная инженерия, а именно в конструкции и использовании радар системы, цифровые системы связи, И в обработка сигнала системы. В радиолокационных системах лемма Неймана – Пирсона используется для первой установки скорости пропущенные обнаружения до желаемого (низкого) уровня, а затем минимизируя скорость ложные срабатывания Ни ложные срабатывания, ни пропущенные срабатывания не могут быть установлены на произвольно низкие значения, включая ноль. Все вышеперечисленное относится и ко многим системам обработки сигналов.

Использование в физике элементарных частиц

Лемма Неймана – Пирсона применяется к построению специфических для анализа отношений правдоподобия, используемых, например, для проверка подписей новая физика против номинала Стандартная модель предсказания в наборах данных протон-протонных столкновений, собранных на LHC.

Смотрите также

• Статистическая мощность
• F-тест Фишера
• Показатели ошибки при проверке гипотез
• Теорема Уилкса

использованная литература

1. Neyman, J .; Пирсон, Э. С. (1933-02-16). «IX. О проблеме наиболее эффективных проверок статистических гипотез». Фил. Пер. R. Soc. Лондон. А. 231 (694–706): 289–337. Дои:10.1098 / рста.1933.0009. ISSN  0264-3952.
2. Берлиант М. (1984). «Характеристика спроса на землю». Журнал экономической теории. 33 (2): 289–300. Дои:10.1016/0022-0531(84)90091-7.

• Э. Л. Леманн, Джозеф П. Романо, Проверка статистических гипотез, Springer, 2008, стр. 60

внешние ссылки

• Косма Шализи дает интуитивный вывод леммы Неймана – Пирсона используя идеи из экономики
• cnx.org: критерий Неймана – Пирсона