Допустимое правило принятия решения - Admissible decision rule

В теория статистических решений, допустимое правило принятия решения это правило для принятия решения так что нет другого правила, которое всегда "лучше", чем это^[1] (или, по крайней мере, иногда лучше и никогда не хуже) в точном смысле слова «лучше», определяемом ниже. Эта концепция аналогична Парето эффективность.

Определение

Определять наборы ${\displaystyle \Theta \,}$, ${\displaystyle {\mathcal {X}}}$ и ${\displaystyle {\mathcal {A}}}$, куда ${\displaystyle \Theta \,}$ состояния природы, ${\displaystyle {\mathcal {X}}}$ возможные наблюдения и ${\displaystyle {\mathcal {A}}}$ действия, которые могут быть предприняты. Наблюдение ${\displaystyle x\in {\mathcal {X}}\,\!}$ распространяется как ${\displaystyle F(x\mid \theta )\,\!}$ и поэтому предоставляет свидетельства о состоянии природы ${\displaystyle \theta \in \Theta \,\!}$. А правило принятия решения это функция ${\displaystyle \delta :{\mathcal {X}}\rightarrow {\mathcal {A}}}$, где при наблюдении ${\displaystyle x\in {\mathcal {X}}}$, мы решили действовать ${\displaystyle \delta (x)\in {\mathcal {A}}\,\!}$.

Также определите функция потерь ${\displaystyle L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$, который указывает убыток, который мы понесем, приняв меры ${\displaystyle a\in {\mathcal {A}}}$ когда истинное состояние природы ${\displaystyle \theta \in \Theta }$. Обычно мы предпринимаем это действие после просмотра данных. ${\displaystyle x\in {\mathcal {X}}}$, так что убыток будет ${\displaystyle L(\theta ,\delta (x))\,\!}$. (Можно, хотя и нетрадиционно, переформулировать следующие определения в терминах вспомогательная функция, что является отрицательной величиной потерь.)

Определить функция риска как ожидание

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

Правило ли решения ${\displaystyle \delta \,\!}$ имеет низкий риск зависит от истинного состояния природы ${\displaystyle \theta \,\!}$. Правило принятия решения ${\displaystyle \delta ^{*}\,\!}$ доминирует правило принятия решения ${\displaystyle \delta \,\!}$ если и только если ${\displaystyle R(\theta ,\delta ^{*})\leq R(\theta ,\delta )}$ для всех ${\displaystyle \theta \,\!}$, и неравенство строгий для некоторых ${\displaystyle \theta \,\!}$.

Правило принятия решения допустимый (относительно функции потерь) тогда и только тогда, когда никакое другое правило не доминирует над ней; в противном случае это недопустимый. Таким образом, допустимое правило принятия решения - это максимальный элемент в отношении указанного выше частичного порядка. недопустимое правило не является предпочтительным (за исключением соображений простоты или вычислительной эффективности), поскольку по определению существует какое-то другое правило, которое позволит достичь равного или меньшего риска для все ${\displaystyle \theta \,\!}$. Но только потому, что правило ${\displaystyle \delta \,\!}$ допустимо, не означает, что это хорошее правило. Приемлемость означает, что нет другого единственного правила, которое всегда так же хорошо или лучше - но другие допустимые правила могут снизить риск для большинства ${\displaystyle \theta \,\!}$ что происходит на практике. (Байесовский риск, обсуждаемый ниже, представляет собой способ явно рассмотреть, какие ${\displaystyle \theta \,\!}$ встречаются на практике.)

Правила Байеса и обобщенные правила Байеса

Смотрите также: Байесовская оценка § Допустимость

Правила Байеса

Позволять ${\displaystyle \pi (\theta )\,\!}$ - распределение вероятностей состояний природы. Из Байесовский точки зрения, мы рассматриваем это как предварительное распространение. То есть это наше предполагаемое распределение вероятностей состояний природы до данных наблюдений. Для частотник, это просто функция на ${\displaystyle \Theta \,\!}$ без такой специальной интерпретации. В Байесовский риск правила принятия решения ${\displaystyle \delta \,\!}$ относительно ${\displaystyle \pi (\theta )\,\!}$ это ожидание

${\displaystyle r(\pi ,\delta )=\operatorname {E} _{\pi (\theta )}[R(\theta ,\delta )].\,\!}$

Правило принятия решения ${\displaystyle \delta \,\!}$ что сводит к минимуму ${\displaystyle r(\pi ,\delta )\,\!}$ называется Правило Байеса относительно ${\displaystyle \pi (\theta )\,\!}$. Таких правил Байеса может быть несколько. Если байесовский риск бесконечен для всех ${\displaystyle \delta \,\!}$, то правило Байеса не определено.

Обобщенные правила Байеса

Смотрите также: Байесовская оценка § Обобщенные байесовские оценки

В байесовском подходе к теории принятия решений наблюдаемое ${\displaystyle x\,\!}$ Считается фиксированный. В то время как частотный подход (т.е. риск) усредняет возможные выборки ${\displaystyle x\in {\mathcal {X}}\,\!}$, байесовский фиксирует наблюдаемый образец ${\displaystyle x\,\!}$ и среднее значение по гипотезам ${\displaystyle \theta \in \Theta \,\!}$. Таким образом, байесовский подход должен учитывать наши наблюдаемые ${\displaystyle x\,\!}$ то ожидаемый убыток

${\displaystyle \rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\!}$

где ожидание превышает задний из ${\displaystyle \theta \,\!}$ данный ${\displaystyle x\,\!}$ (получен из ${\displaystyle \pi (\theta )\,\!}$ и ${\displaystyle F(x\mid \theta )\,\!}$ с помощью Теорема Байеса ).

Сделав явным ожидаемый убыток для каждого данного ${\displaystyle x\,\!}$ отдельно мы можем определить правило принятия решения ${\displaystyle \delta \,\!}$ указав для каждого ${\displaystyle x\,\!}$ действие ${\displaystyle \delta (x)\,\!}$ что минимизирует ожидаемые потери. Это известно как обобщенное правило Байеса относительно ${\displaystyle \pi (\theta )\,\!}$. Может существовать более одного обобщенного правила Байеса, поскольку может быть несколько вариантов ${\displaystyle \delta (x)\,\!}$ которые приносят такой же ожидаемый убыток.

На первый взгляд, это может показаться несколько отличным от подхода правила Байеса из предыдущего раздела, а не обобщением. Однако обратите внимание, что риск Байеса уже в среднем превышает ${\displaystyle \Theta \,\!}$ байесовским способом, и байесовский риск может быть восстановлен, если ожидания превышают ${\displaystyle {\mathcal {X}}}$ ожидаемого убытка (где ${\displaystyle x\sim \theta \,\!}$ и ${\displaystyle \theta \sim \pi \,\!}$). Грубо говоря, ${\displaystyle \delta \,\!}$ минимизирует это ожидание ожидаемых потерь (т. е. является правилом Байеса) тогда и только тогда, когда оно минимизирует ожидаемые убытки для каждого ${\displaystyle x\in {\mathcal {X}}}$ отдельно (т.е. является обобщенным правилом Байеса).

Тогда почему понятие обобщенного правила Байеса является улучшением? Это действительно эквивалентно понятию правила Байеса, когда правило Байеса существует и все ${\displaystyle x\,\!}$ имеют положительную вероятность. Однако правила Байеса не существует, если риск Байеса бесконечен (для всех ${\displaystyle \delta \,\!}$). В этом случае по-прежнему полезно определить обобщенное правило Байеса. ${\displaystyle \delta \,\!}$, который, по крайней мере, выбирает действие с минимальным ожидаемым убытком ${\displaystyle \delta (x)\!\,}$ для тех ${\displaystyle x\,\!}$ для которого действительно существует действие с конечными ожидаемыми потерями. Кроме того, может оказаться желательным обобщенное правило Байеса, поскольку оно должно выбирать действие с минимальными ожидаемыми потерями. ${\displaystyle \delta (x)\,\!}$ за каждый ${\displaystyle x\,\!}$, тогда как правилу Байеса разрешено отклоняться от этой политики на множестве ${\displaystyle X\subseteq {\mathcal {X}}}$ меры 0 без влияния на байесовский риск.

Что еще более важно, иногда удобно использовать неподходящий предварительный ${\displaystyle \pi (\theta )\,\!}$. В этом случае риск Байеса даже не определен четко, и нет четкого распределения по ${\displaystyle x\,\!}$. Однако задний ${\displaystyle \pi (\theta \mid x)\,\!}$- и, следовательно, ожидаемые убытки - могут быть четко определены для каждого ${\displaystyle x\,\!}$, так что по-прежнему можно определить обобщенное правило Байеса.

Допустимость (обобщенных) правил Байеса

Согласно теоремам о полных классах, при мягких условиях каждое допустимое правило является (обобщенным) правилом Байеса (относительно некоторого предшествующего ${\displaystyle \pi (\theta )\,\!}$- возможно, неправильный - в пользу распределений ${\displaystyle \theta \,\!}$ где это правило обеспечивает низкий риск). Таким образом, в частотник теория принятия решений достаточно рассмотреть только (обобщенные) правила Байеса.

И наоборот, хотя правила Байеса относительно собственных априорных значений практически всегда допустимы, обобщенные правила Байеса, соответствующие неподходящие приоры не требует допустимых процедур. Пример Штейна одна из таких известных ситуаций.

Примеры

В Оценка Джеймса – Стейна представляет собой нелинейную оценку среднего гауссовских случайных векторов, которая, как можно показать, доминирует или превосходит обыкновенный метод наименьших квадратов метод по среднеквадратичной функции потерь ошибок.^[2] Таким образом, оценка методом наименьших квадратов не является допустимой процедурой оценки в данном контексте. Некоторые другие стандартные оценки, связанные с нормальное распределение также недопустимы: например, выборочная оценка дисперсии когда среднее значение и дисперсия генеральной совокупности неизвестны.^[3]

Примечания

1. Додж, Ю. (2003) Оксфордский словарь статистических терминов. ОУП. ISBN  0-19-920613-9 (запись для допустимой решающей функции)
2. Кокс и Хинкли 1974, Раздел 11.8
3. Кокс и Хинкли 1974, Упражнение 11.7

Рекомендации

• Cox, D. R .; Хинкли, Д. В. (1974). Теоретическая статистика. Вайли. ISBN  0-412-12420-3.
• Бергер, Джеймс О. (1980). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Springer-Verlag. ISBN  0-387-96098-8.
• ДеГрут, Моррис (2004) [1-е. паб. 1970]. Оптимальные статистические решения. Библиотека Wiley Classics. ISBN  0-471-68029-X.
• Роберт, Кристиан П. (1994). Байесовский выбор. Springer-Verlag. ISBN  3-540-94296-3.