Джеффрис приор - Jeffreys prior

В Байесовская вероятность, то Джеффрис приор, названный в честь сэра Гарольд Джеффрис, это неинформативный (цель) предварительное распространение для пространства параметров; его функция плотности пропорциональна квадратный корень из детерминант из Информация Fisher матрица:

${\displaystyle p\left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right)}}.\,}$

Его ключевой особенностью является то, что он инвариантен изменение координат для вектора параметров ${\displaystyle {\vec {\theta }}}$. То есть относительная вероятность, присвоенная объему вероятностного пространства, использующему априор Джеффри, будет одинаковой независимо от параметризации, используемой для определения априорного значения Джеффри. Это делает его особенно интересным для использования с параметры шкалы.^[1]

Репараметризация

Однопараметрический случай

Для альтернативной параметризации ${\displaystyle \varphi }$ мы можем получить

${\displaystyle p(\varphi )\propto {\sqrt {I(\varphi )}}\,}$

из

${\displaystyle p(\theta )\propto {\sqrt {I(\theta )}}\,}$

с использованием теорема о замене переменных для преобразований и определения информации Фишера:

${\displaystyle {\begin{aligned}p(\varphi )&=p(\theta )\left|{\frac {d\theta }{d\varphi }}\right|\\&\propto {\sqrt {I(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2}}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\theta }}\right)^{2}\right]\left({\frac {d\theta }{d\varphi }}\right)^{2}}}\\&={\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\theta }}{\frac {d\theta }{d\varphi }}\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\varphi }}\right)^{2}\right]}}\\&={\sqrt {I(\varphi )}}.\end{aligned}}}$

Случай с несколькими параметрами

Для альтернативной параметризации ${\displaystyle {\vec {\varphi }}}$ мы можем получить

${\displaystyle p({\vec {\varphi }})\propto {\sqrt {\det I({\vec {\varphi }})}}\,}$

из

${\displaystyle p({\vec {\theta }})\propto {\sqrt {\det I({\vec {\theta }})}}\,}$

с использованием теорема о замене переменных для преобразований - определение информации Фишера и то, что произведение детерминантов является определителем матричного произведения:

${\displaystyle {\begin{aligned}p({\vec {\varphi }})&=p({\vec {\theta }})\left|\det {\frac {\partial \theta _{i}}{\partial \varphi _{j}}}\right|\\&\propto {\sqrt {\det I({\vec {\theta }})\,{\det }^{2}{\frac {\partial \theta _{i}}{\partial \varphi _{j}}}}}\\&={\sqrt {\det {\frac {\partial \theta _{k}}{\partial \varphi _{i}}}\,\det \operatorname {E} \!\left[{\frac {\partial \ln L}{\partial \theta _{k}}}{\frac {\partial \ln L}{\partial \theta _{l}}}\right]\,\det {\frac {\partial \theta _{l}}{\partial \varphi _{j}}}}}\\&={\sqrt {\det \operatorname {E} \!\left[\sum _{k,l}{\frac {\partial \theta _{k}}{\partial \varphi _{i}}}{\frac {\partial \ln L}{\partial \theta _{k}}}{\frac {\partial \ln L}{\partial \theta _{l}}}{\frac {\partial \theta _{l}}{\partial \varphi _{j}}}\right]}}\\&={\sqrt {\det \operatorname {E} \!\left[{\frac {\partial \ln L}{\partial \varphi _{i}}}{\frac {\partial \ln L}{\partial \varphi _{j}}}\right]}}={\sqrt {\det I({\vec {\varphi }})}}.\end{aligned}}}$

Атрибуты

С практической и математической точки зрения веская причина для использования этого неинформативного априорного значения вместо других, подобных тем, которые получены с помощью предела в сопряженных семействах распределений, заключается в том, что относительная вероятность объема вероятностного пространства не зависит от набор переменных параметров, выбранный для описания пространства параметров.

Иногда приоры Джеффри не могут быть нормализованный, и, таким образом, неподходящий предварительный. Например, априор Джеффри для среднего распределения однороден по всей действительной прямой в случае Гауссово распределение известной дисперсии.

Использование априорной версии Джеффри нарушает сильную версию принцип правдоподобия, что принимается многими, но далеко не всеми статистиками. При использовании предшественников Джеффри выводы о ${\displaystyle {\vec {\theta }}}$ зависят не только от вероятности наблюдаемых данных как функции ${\displaystyle {\vec {\theta }}}$, но также и на вселенной всех возможных экспериментальных результатов, как это определено планом эксперимента, потому что информация Фишера вычисляется из ожидания по выбранной вселенной. Соответственно, априор Джеффри и, следовательно, выводы, сделанные с его помощью, могут быть разными для двух экспериментов с одним и тем же ${\displaystyle {\vec {\theta }}}$ параметр, даже если функции правдоподобия для двух экспериментов одинаковы - нарушение принципа сильного правдоподобия.

Минимальная длина описания

в минимальная длина описания Подход к статистике цель состоит в том, чтобы описать данные как можно более компактно, где длина описания измеряется в битах используемого кода. Для параметрического семейства распределений сравнивают код с лучшим кодом, основанным на одном из распределений в параметризованном семействе. Главный результат состоит в том, что в экспоненциальные семейства, асимптотически для большого размера выборки оптимальным является код, основанный на распределении, которое представляет собой смесь элементов экспоненциального семейства с априорным методом Джеффри. Этот результат имеет место, если ограничить набор параметров компактным подмножеством внутри полного пространства параметров.^{[нужна цитата ]}. Если используется полный параметр, должна использоваться измененная версия результата.

Примеры

Априор Джеффри для параметра (или набора параметров) зависит от статистической модели.

Гауссово распределение со средним параметром

Для Гауссово распределение реальной стоимости ${\displaystyle x}$

${\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}$

с ${\displaystyle \sigma }$ фиксировано, априор Джеффри для среднего ${\displaystyle \mu }$ является

${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {1/\sigma ^{2}}}\propto 1.\end{aligned}}}$

То есть Джеффри до ${\displaystyle \mu }$ не зависит от ${\displaystyle \mu }$; это ненормализованное равномерное распределение на реальной прямой - распределение, равное 1 (или некоторой другой фиксированной константе) для всех точек. Это неподходящий предварительный, и является, с точностью до выбора константы, единственным перевод-инвариантное распределение на вещественных числах ( Мера Хаара относительно сложения вещественных чисел), что соответствует среднему значению меры место расположения и трансляция-инвариантность, соответствующая отсутствию информации о местоположении.

Гауссово распределение с параметром стандартного отклонения

Для Гауссово распределение реальной стоимости ${\displaystyle x}$

${\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}$

с ${\displaystyle \mu }$ фиксировано, априор Джеффри для стандартного отклонения ${\displaystyle \sigma >0}$ является

${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}}$

Эквивалентно, Джеффри до ${\textstyle \log \sigma =\int d\sigma /\sigma }$ - ненормализованное равномерное распределение на действительной прямой, и поэтому это распределение также известно как логарифмический априор. Точно так же Джеффри до ${\displaystyle \log \sigma ^{2}=2\log \sigma }$ также однородный. Это единственный (с точностью до нескольких) априор (по положительным действительным числам), который равен шкала-инвариантный ( Мера Хаара относительно умножения положительных действительных чисел), что соответствует стандартному отклонению, являющемуся мерой шкала и масштабная инвариантность, соответствующая отсутствию информации о масштабе. Как и в случае с равномерным распределением по реалам, это неподходящий предварительный.

Распределение Пуассона с параметром скорости

Для распределение Пуассона неотрицательного целого числа ${\displaystyle n}$,

${\displaystyle f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},}$

Джеффри априор для параметра скорости ${\displaystyle \lambda \geq 0}$ является

${\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}}$

Эквивалентно, Джеффри до ${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$ - ненормализованное равномерное распределение на неотрицательной действительной прямой.

Бернулли суд

Для монеты, которая с вероятностью орел ${\displaystyle \gamma \in [0,1]}$ и с вероятностью «решка» ${\displaystyle 1-\gamma }$, для данного ${\displaystyle (H,T)\in \{(0,1),(1,0)\}}$ вероятность ${\displaystyle \gamma ^{H}(1-\gamma )^{T}}$. Джеффри априор для параметра ${\displaystyle \gamma }$ является

${\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}$

Это распределение арксинусов и является бета-распространение с ${\displaystyle \alpha =\beta =1/2}$. Кроме того, если ${\displaystyle \gamma =\sin ^{2}(\theta )}$ тогда

${\displaystyle \Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.}$

То есть Джеффри до ${\displaystyle \theta }$ равномерно в интервале ${\displaystyle [0,\pi /2]}$. Эквивалентно ${\displaystyle \theta }$ равномерно по всему кругу ${\displaystyle [0,2\pi ]}$.

N-сторонний штамп со смещенными вероятностями

Аналогично для броска ${\displaystyle N}$-сторонний кубик с вероятностями исхода ${\displaystyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$, каждый неотрицательный и удовлетворительный ${\displaystyle \sum _{i=1}^{N}\gamma _{i}=1}$, Джеффри до ${\displaystyle {\vec {\gamma }}}$ это Распределение Дирихле со всеми (альфа) параметрами, равными половине. Это равносильно использованию псевдосчет половины за каждый возможный исход.

Эквивалентно, если мы напишем ${\displaystyle \gamma _{i}=\varphi _{i}^{2}}$ для каждого ${\displaystyle i}$, то Джеффри до ${\displaystyle {\vec {\varphi }}}$ равномерно на (N - 1) -мерный единичная сфера (т.е., он однороден на поверхности N-размерный единичный мяч ).

Рекомендации

1. Джейнс, Э. Т. (1968) "Априорные вероятности", IEEE Trans. по системной науке и кибернетике, SSC-4, 227 pdf.

дальнейшее чтение

• Джеффрис, Х. (1946). «Инвариантная форма для априорной вероятности в задачах оценивания». Труды Лондонского королевского общества. Серия A, Математические и физические науки. 186 (1007): 453–461. Дои:10.1098 / rspa.1946.0056. JSTOR  97883. PMID  20998741.

• Джеффрис, Х. (1939). Теория вероятности. Издательство Оксфордского университета.