Предельная вероятность - Marginal likelihood

В статистика, а функция предельного правдоподобия, или же интегрированная вероятность, это функция правдоподобия в котором некоторые переменные параметров были маргинализованный. В контексте Байесовская статистика, его также можно назвать свидетельство или же модельное свидетельство.

Концепция

Учитывая набор независимые одинаково распределенные точки данных ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}$ куда ${\displaystyle x_{i}\sim p(x_{i}|\theta )}$ согласно некоторым распределение вероятностей параметризованный ${\displaystyle \theta }$, куда ${\displaystyle \theta }$ сам по себе случайная переменная описывается распределением, т.е. ${\displaystyle \theta \sim p(\theta |\alpha ),}$ маржинальное правдоподобие в целом спрашивает, какова вероятность ${\displaystyle p(\mathbf {X} |\alpha )}$ это здесь ${\displaystyle \theta }$ был маргинализованный (интегрировано):

${\displaystyle p(\mathbf {X} |\alpha )=\int _{\theta }p(\mathbf {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta }$

Приведенное выше определение сформулировано в контексте Байесовская статистика. В классическом (частотник ) статистики, понятие предельного правдоподобия возникает вместо этого в контексте совместного параметра ${\displaystyle \theta =(\psi ,\lambda )}$, куда ${\displaystyle \psi }$ - фактический интересующий параметр, и ${\displaystyle \lambda }$ неинтересный неприятный параметр. Если существует распределение вероятностей для ${\displaystyle \lambda }$, часто желательно рассматривать функцию правдоподобия только в терминах ${\displaystyle \psi }$путем маргинализации ${\displaystyle \lambda }$:

${\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} |\psi )=\int _{\lambda }p(\mathbf {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda }$

К сожалению, предельное правдоподобие, как правило, трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда маргинальным параметром является сопряженный предшествующий распределения данных. В других случаях какой-то численное интегрирование требуется либо общий метод, например Гауссовское интегрирование или Метод Монте-Карло, или метод, специализирующийся на статистических задачах, таких как Приближение Лапласа, Гиббс /Мегаполис выборка, или EM алгоритм.

Также возможно применить приведенные выше соображения к одной случайной величине (точке данных). ${\displaystyle x}$, а не набор наблюдений. В байесовском контексте это эквивалентно предварительное прогнозное распределение точки данных.

Приложения

Сравнение байесовских моделей

В Сравнение байесовских моделей маргинальные переменные - это параметры для определенного типа модели, а оставшаяся переменная - это идентичность самой модели. В этом случае маргинальное правдоподобие - это вероятность данных с учетом типа модели, без каких-либо конкретных параметров модели. Записав θ для параметров модели, предельное правдоподобие для модели M является

${\displaystyle p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta }$

Именно в этом контексте термин модельное свидетельство обычно используется. Эта величина важна, потому что апостериорное отношение шансов для модели M₁ против другой модели M₂ включает в себя соотношение предельных вероятностей, так называемое Фактор Байеса:

${\displaystyle {\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}}$

что схематично можно представить как

задний шансы = предыдущие шансы × Фактор Байеса

Смотрите также

• Эмпирические байесовские методы
• Парадокс Линдли
• Предельная вероятность

Рекомендации

• Чарльз С. Бос. «Сравнение методов расчета предельного правдоподобия». В В. Хердле и Б. Ронце, редакторах, COMPSTAT 2002: Труды по вычислительной статистикеС. 111–117. 2002 г. (Доступен в виде препринта в Интернете: [1] )
• Он-лайн учебник: теория информации, выводы и алгоритмы обучения, к Дэвид Дж. К. Маккей.