Теорема Бернштейна – фон Мизеса - Bernstein–von Mises theorem

В Байесовский вывод, то Теорема Бернштейна-фон Мизеса обеспечивает основу для использования байесовских достоверных наборов для заявлений о доверии в параметрические модели. В нем говорится, что при некоторых условиях апостериорное распределение сходится в пределе бесконечных данных к многомерному нормальному распределению с центром в оценке максимального правдоподобия с ковариационной матрицей, задаваемой формулой ${ Displaystyle п ^ {- 1} я ( theta _ {0}) ^ {- 1}}$ , куда ${ displaystyle theta _ {0}}$ является истинным параметром популяции и ${ Displaystyle I ( theta _ {0})}$ - это информационная матрица Фишера при истинном значении параметра популяции.^[1]

Вступление

В Теорема Бернштейна-фон Мизеса это результат, который связывает Байесовский вывод с Заключение частотника. Он предполагает, что существует некий истинный вероятностный процесс, который генерирует наблюдения, как в частотном подходе, а затем изучает качество байесовских методов восстановления этого процесса и делает заявления о неопределенности этого процесса. В частности, в нем говорится, что байесовские достоверные наборы определенного уровня достоверности ${ displaystyle alpha}$ будет асимптотически быть доверительными наборами доверительного уровня ${ displaystyle alpha}$ , что позволяет интерпретировать байесовские достоверные множества.

Эвристическое заявление

В модели ${ displaystyle (P _ { theta}: theta in Theta)}$ , при определенных условиях регулярности (конечномерный, точно определенный, гладкий, наличие тестов), если априорное распределение ${ displaystyle Pi}$ на ${ displaystyle theta}$ имеет плотность относительно меры Лебеска, которая является достаточно гладкой (около ${ displaystyle theta _ {0}}$ ограниченный от нуля), полное расстояние вариации между измененным апостериорным распределением (путем центрирования и изменения масштаба до ${ displaystyle { sqrt {n}} ( theta - theta _ {0})}$ ) и гауссовское распределение с центром на любом эффективный оценщик и с обратной информацией Фишера, поскольку дисперсия будет сходиться по вероятности к нулю.

Бернштейн-фон Мизес и оценка максимального правдоподобия

В случае если оценщик максимального правдоподобия эффективный оценщик, мы можем подключить его и восстановить общую, более конкретную версию Теорема Бернштейна-фон Мизеса.

Подразумеваемое

Самый важный вывод Теорема Бернштейна-фон Мизеса состоит в том, что байесовский вывод является асимптотически правильным с частотной точки зрения. Это означает, что для больших объемов данных можно использовать апостериорное распределение, чтобы с частотной точки зрения сделать достоверные утверждения об оценке и неопределенности.

История

Теорема названа в честь Рихард фон Мизес и С. Н. Бернштейн хотя первое надлежащее доказательство было дано Джозеф Л. Дуб в 1949 г. для случайных величин с конечным вероятностное пространство.^[2] Потом Люсьен Ле Кам, его аспирант Лоррейн Шварц, Дэвид А. Фридман и Перси Диаконис расширил доказательство при более общих предположениях.

Ограничения

В случае неверно заданной модели апостериорное распределение также станет асимптотически гауссовым с правильным средним значением, но не обязательно с информацией Фишера в качестве дисперсии. Это означает, что байесовские достоверные наборы уровней ${ displaystyle alpha}$ нельзя интерпретировать как наборы достоверности уровня ${ displaystyle alpha}$ .^[3]

В случае непараметрической статистики теорема Бернштейна-фон Мизеса обычно не выполняется, за заметным исключением Процесс Дирихле.

Замечательный результат был получен Фридманом в 1965 году: теорема Бернштейна – фон Мизеса не выполняется. почти наверняка если случайная величина имеет бесконечное счетное вероятностное пространство; однако это зависит от наличия очень широкого диапазона возможных априорных значений. На практике априорные значения, обычно используемые в исследованиях, обладают желаемым свойством даже при бесконечном счетном вероятностное пространство.

Различные сводные статистические данные, такие как Режим и среднее могут вести себя по-разному в апостериорном распределении. В примерах Фридмана апостериорная плотность и ее среднее значение могут сходиться к неправильному результату, но апостериорная мода согласована и будет сходиться к правильному результату.

Котировки

Статистик А. В. Ф. Эдвардс отметил: «Иногда в защиту байесовской концепции говорят, что выбор априорного распределения не важен на практике, потому что он почти не влияет на апостериорное распределение при наличии умеренных объемов данных. ' лучшее."^[4]

Примечания

^ ван дер Ваарт, А.В. (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика. Издательство Кембриджского университета. ISBN 0-521-78450-6.
^ Дуб, Джозеф Л. (1949). «Применение теории мартингалов». Коллок. Междунар. du C.N.R.S (Париж). 13: 23–27.
^ Kleijn, B.J.K .; ван дер Ваарт, А.В. (2012). "Теорема Бернштейна-фон-Мизеса при неправильной спецификации". Электронный статистический журнал. 6 (0): 354–381. Дои:10.1214 / 12-EJS675.
^ Эдвардс, A.W.F. (1992). Вероятность. Балтимор: Издательство Университета Джона Хопкинса. ISBN 0-8018-4443-6.