Нормальное-обратное-распределение Вишарта - Normal-inverse-Wishart distribution

нормальный-обратный-Уишарт

Обозначение	${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )}$
Параметры	${\displaystyle {\boldsymbol {\mu }}_{0}\in \mathbb {R} ^{D}\,}$ место расположения (вектор настоящий ) ${\displaystyle \lambda >0\,}$ (настоящий) ${\displaystyle {\boldsymbol {\Psi }}\in \mathbb {R} ^{D\times D}}$ матрица обратного масштаба (поз. деф. ) ${\displaystyle \nu >D-1\,}$ (настоящий)
Поддерживать	${\displaystyle {\boldsymbol {\mu }}\in \mathbb {R} ^{D};{\boldsymbol {\Sigma }}\in \mathbb {R} ^{D\times D}}$ ковариационная матрица (поз. деф. )
PDF	${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}({\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},{\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }})\ {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

В теория вероятности и статистика, то нормальное обратное распределение Вишарта (или же Гауссово-обратное распределение Вишарта) - многомерное четырехпараметрическое семейство непрерывных распределения вероятностей. Это сопряженный предшествующий из многомерное нормальное распределение с неизвестным иметь в виду и ковариационная матрица (обратное матрица точности ).^[1]

Определение

Предполагать

${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Sigma }}\sim {\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right)}$

имеет многомерное нормальное распределение с иметь в виду ${\displaystyle {\boldsymbol {\mu }}_{0}}$ и ковариационная матрица ${\displaystyle {\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }}}$, куда

${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu \sim {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

имеет обратное распределение Уишарта. потом ${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$имеет нормальное обратное распределение Вишарта, обозначаемое как

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).}$

Характеристика

Функция плотности вероятности

${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right){\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

Полная версия PDF-файла выглядит следующим образом:^[2]

${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|\alpha ,{\boldsymbol {\Psi }},\gamma ,{\boldsymbol {\delta }})={\frac {\gamma ^{D/2}|{\boldsymbol {\Psi }}|^{\alpha /2}|{\boldsymbol {\Sigma }}|^{-{\frac {\alpha +D+2}{2}}}}{(2\pi )^{D/2}2^{\frac {\alpha D}{2}}\Gamma _{D}({\frac {\alpha }{2}})}}{\text{exp}}\left\{-{\frac {1}{2}}(Tr({\boldsymbol {\Psi \Sigma }}^{-1})+\gamma ({\boldsymbol {\mu }}-{\boldsymbol {\delta }})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}-{\boldsymbol {\delta }}))\right\}}$

Здесь ${\displaystyle \Gamma _{D}[\cdot ]}$ - многомерная гамма-функция и ${\displaystyle Tr({\boldsymbol {\Psi }})}$ - След данной матрицы.

Характеристики

Масштабирование

Маржинальные распределения

По построению предельное распределение над ${\displaystyle {\boldsymbol {\Sigma }}}$ является обратное распределение Уишарта, а условное распределение над ${\displaystyle {\boldsymbol {\mu }}}$ данный ${\displaystyle {\boldsymbol {\Sigma }}}$ это многомерное нормальное распределение. В предельное распределение над ${\displaystyle {\boldsymbol {\mu }}}$ это многомерное t-распределение.

Апостериорное распределение параметров

Предположим, что плотность выборки - многомерное нормальное распределение

${\displaystyle {\boldsymbol {y_{i}}}|{\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

куда ${\displaystyle {\boldsymbol {y}}}$ является ${\displaystyle n\times p}$ матрица и ${\displaystyle {\boldsymbol {y_{i}}}}$ (длины ${\displaystyle p}$) строка ${\displaystyle i}$ матрицы.

Поскольку среднее значение и ковариационная матрица распределения выборки неизвестны, мы можем разместить априор Нормального-Обратного-Уишарта для среднего и ковариационного параметров совместно

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).}$

Результирующее апостериорное распределение для среднего и ковариационной матрицы также будет нормальным-обратным-Wishart

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|y)\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{n},\lambda _{n},{\boldsymbol {\Psi }}_{n},\nu _{n}),}$

куда

${\displaystyle {\boldsymbol {\mu }}_{n}={\frac {\lambda {\boldsymbol {\mu }}_{0}+n{\bar {\boldsymbol {y}}}}{\lambda +n}}}$

${\displaystyle \lambda _{n}=\lambda +n}$

${\displaystyle \nu _{n}=\nu +n}$

${\displaystyle {\boldsymbol {\Psi }}_{n}={\boldsymbol {\Psi +S}}+{\frac {\lambda n}{\lambda +n}}({\boldsymbol {{\bar {y}}-\mu _{0}}})({\boldsymbol {{\bar {y}}-\mu _{0}}})^{T}~~~\mathrm {with,} ~~{\boldsymbol {S}}=\sum _{i=1}^{n}({\boldsymbol {y_{i}-{\bar {y}}}})({\boldsymbol {y_{i}-{\bar {y}}}})^{T}}$.

Для взятия пробы из заднего сустава ${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$, можно просто взять образцы из ${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {y}}\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }}_{n},\nu _{n})}$, затем нарисуйте ${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }}_{n},{\boldsymbol {\Sigma }}/\lambda _{n})}$. Чтобы извлечь из апостериорного прогноза нового наблюдения, нарисуйте ${\displaystyle {\boldsymbol {\tilde {y}}}|{\boldsymbol {\mu ,\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$ , учитывая уже нарисованные значения ${\displaystyle {\boldsymbol {\mu }}}$ и ${\displaystyle {\boldsymbol {\Sigma }}}$.^[3]

Генерация нормальных-обратных-случайных величин Уишарта

Генерация случайных величин проста:

1. Образец ${\displaystyle {\boldsymbol {\Sigma }}}$ из обратное распределение Уишарта с параметрами ${\displaystyle {\boldsymbol {\Psi }}}$ и ${\displaystyle \nu }$
2. Образец ${\displaystyle {\boldsymbol {\mu }}}$ из многомерное нормальное распределение со средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$ и дисперсия ${\displaystyle {\boldsymbol {\tfrac {1}{\lambda }}}{\boldsymbol {\Sigma }}}$

Связанные дистрибутивы

• В нормальное распределение Вишарта по сути, то же самое распределение, параметризованное скорее точностью, чем дисперсией. Если ${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )}$ тогда ${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}^{-1})\sim \mathrm {NW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }}^{-1},\nu )}$ .
• В нормальное обратное гамма-распределение - одномерный эквивалент.
• В многомерное нормальное распределение и обратное распределение Уишарта - это распределения компонентов, из которых состоит это распределение.

Примечания

1. Мерфи, Кевин П. (2007). «Сопряженный байесовский анализ распределения Гаусса». [1]
2. Саймон Дж. Д. Принс (июнь 2012 г.). Компьютерное зрение: модели, обучение и выводы. Издательство Кембриджского университета. 3.8: «Нормальное обратное распределение Вишарта».
3. Гельман, Эндрю и др. Байесовский анализ данных. Vol. 2, стр.73. Бока-Ратон, Флорида, США: Chapman & Hall / CRC, 2014.

Рекомендации

• Епископ, Кристофер М. (2006). Распознавание образов и машинное обучение. Springer Science + Business Media.
• Мерфи, Кевин П. (2007). «Сопряженный байесовский анализ распределения Гаусса». [2]