Конъюгировать приор - Conjugate prior

В Байесовская вероятность теория, если апостериорные распределения п(θ | Икс) находятся в одном семейство распределения вероятностей как априорное распределение вероятностей п(θ), тогда априорное и апостериорное называется сопряженные распределения, а приора называется сопряженный предшествующий для функция правдоподобия п(х | θ). Например, Гауссовский семья сопряжена сама с собой (или самосопряженный) по отношению к гауссовой функции правдоподобия: если функция правдоподобия является гауссовой, выбор гауссовского априорного значения по сравнению со средним будет гарантировать, что апостериорное распределение также будет гауссовым. Это означает, что гауссово распределение является сопряженным априорным значением вероятности, которое также является гауссовым. Понятие, а также термин «сопряженный априор» были введены Говард Райффа и Роберт Шлайфер в своей работе над Байесовская теория принятия решений.^[1] Аналогичная концепция была открыта независимо Джордж Альфред Барнард.^[2]

Рассмотрим общую проблему вывода (непрерывного) распределения для параметра θ с учетом некоторых данных или данных Икс. Из Теорема Байеса, апостериорное распределение равно произведению функции правдоподобия ${\displaystyle \theta \mapsto p(x\mid \theta )\!}$ и ранее ${\displaystyle p(\theta )\!}$, нормализованное (разделенное) на вероятность данных ${\displaystyle p(x)\!}$:

${\displaystyle {\begin{aligned}p(\theta \mid x)&={\frac {p(x\mid \theta )\,p(\theta )}{p(x)}}\\&={\frac {p(x\mid \theta )\,p(\theta )}{\int _{\theta '}p(x,\theta ')\,d\theta '}}\\&={\frac {p(x\mid \theta )\,p(\theta )}{\int _{\theta '}p(x\mid \theta ')\,p(\theta ')\,d\theta '}}\end{aligned}}}$

Пусть функция правдоподобия считается фиксированной; функция правдоподобия обычно хорошо определяется из описания процесса генерации данных^{[пример необходим ]}. Понятно, что разные варианты априорного распределения п(θ) может сделать интеграл более или менее трудным для вычисления, и произведение п(Икс|θ) × п(θ) может принимать ту или иную алгебраическую форму. Для некоторых вариантов априорного выбора апостериорная имеет ту же алгебраическую форму, что и апостериорная (обычно с разными значениями параметров). Такой выбор - сопряженный предшествующий.

Сопряженный априор - это алгебраическое удобство, дающее выражение в закрытой форме для заднего; иначе численное интегрирование может быть необходимо. Кроме того, сопряженные априорные значения могут дать интуицию, более прозрачно показывая, как функция правдоподобия обновляет предыдущее распределение.

Все члены экспоненциальная семья имеют сопряженные приоры.^[3]

Пример

Форму предшествующего конъюгата обычно можно определить путем осмотра плотность вероятности или же функция массы вероятности распределения. Например, рассмотрим случайная переменная который состоит из количества успехов ${\displaystyle s}$ в ${\displaystyle n}$ Бернулли испытания с неизвестной вероятностью успеха ${\displaystyle q}$ в [0,1]. Эта случайная величина будет следовать биномиальное распределение, с функцией масс вероятности вида

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

Обычный сопряженный априор - это бета-распространение с параметрами (${\displaystyle \alpha }$, ${\displaystyle \beta }$):

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

куда ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ выбраны для отражения существующих убеждений или информации (${\displaystyle \alpha }$ = 1 и ${\displaystyle \beta }$ = 1 даст равномерное распределение ) и Β(${\displaystyle \alpha }$, ${\displaystyle \beta }$) это Бета-функция действуя как нормализующая константа.

В контексте, ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ называются гиперпараметры (параметры предшествующей модели), чтобы отличить их от параметров базовой модели (здесь q). Типичной характеристикой сопряженных априорных значений является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, это означает, что гиперпараметров будет на один больше, чем параметра; но это также относится к параметрам с векторными и матричными значениями. (См. Общую статью о экспоненциальная семья, а также рассмотрим Распределение Уишарта, сопряженный предшествующий ковариационная матрица из многомерное нормальное распределение, например, когда речь идет о большой размерности.)

Если мы затем выберем эту случайную величину и получим s успехов и ж неудачи, у нас есть

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

что является еще одним бета-распределением с параметрами (${\displaystyle \alpha }$ + s, ${\displaystyle \beta }$ + ж). Затем это апостериорное распределение можно было бы использовать в качестве априорного для большего количества выборок, при этом гиперпараметры просто добавляли каждую дополнительную информацию по мере ее поступления.

Псевдо-наблюдения

Часто бывает полезно думать о гиперпараметрах сопряженного априорного распределения как о соответствующих наблюдениях определенного числа псевдонаблюдения со свойствами, заданными параметрами. Например, значения ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ из бета-распространение можно рассматривать как соответствующий ${\displaystyle \alpha -1}$ успехов и ${\displaystyle \beta -1}$ отказы, если для выбора оптимальной настройки параметра используется апостериорный режим, или ${\displaystyle \alpha }$ успехов и ${\displaystyle \beta }$ отказы, если для выбора оптимальной настройки параметра используется апостериорное среднее. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать в терминах псевдонаблюдений. Это может помочь как в обеспечении интуиции за часто запутанными уравнениями обновления, так и в выборе разумных гиперпараметров для априорных.

Интерпретации

Аналогия с собственными функциями^{[нужна цитата ]}

Конъюгированные приоры аналогичны собственные функции в теория операторов, в том смысле, что они представляют собой распределения, в которых «обусловливающий оператор» действует вполне понятным образом, рассматривая процесс перехода от предшествующего к последующему как оператор.

Как в собственных функциях, так и в сопряженных априорных функциях существует конечномерный пространство, которое сохраняется оператором: результат имеет ту же форму (в том же пространстве), что и вход. Это значительно упрощает анализ, поскольку в противном случае рассматривается бесконечномерное пространство (пространство всех функций, пространство всех распределений).

Однако процессы только аналогичны, а не идентичны: обусловливание не является линейным, поскольку пространство распределений не замкнуто под линейная комбинация, Только выпуклое сочетание, а задний только такой же форма как и предыдущее, не скалярное кратное.

Так же, как можно легко проанализировать, как линейная комбинация собственных функций развивается под действием оператора (потому что по отношению к этим функциям оператор имеет вид диагонализованный ), можно легко проанализировать, как выпуклая комбинация сопряженных априорных элементов эволюционирует при обусловливании; это вызывается с использованием гиперприор, и соответствует использованию плотность смеси конъюгированных приоров, а не единственного конъюгированного приора.

Динамическая система

Можно думать об обусловливании сопряженных априорных значений как об определении вида (дискретного времени) динамическая система: входящие данные из заданного набора гиперпараметров обновляют эти гиперпараметры, поэтому изменение гиперпараметров можно рассматривать как своего рода «эволюцию во времени» системы, соответствующую «обучению». Начало в разных точках дает разные потоки с течением времени. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что, поскольку разные выборки приводят к разным выводам, это зависит не просто от времени, а скорее от данных с течением времени. Для связанных подходов см. Рекурсивная байесовская оценка и Ассимиляция данных.

Практический пример

Допустим, в вашем городе работает прокат автомобилей. Водители могут выгружать и забирать автомобили в любом месте в черте города. Найти и арендовать автомобили можно с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль на небольшом расстоянии от вашего домашнего адреса в любое время суток.

В течение трех дней вы просматриваете приложение в случайное время дня и обнаруживаете следующее количество автомобилей недалеко от вашего домашнего адреса: ${\displaystyle \mathbf {x} =[3,4,1]}$

Если предположить, что данные поступают из распределение Пуассона, мы можем вычислить максимальная вероятность оценка параметров модели, которая ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что будет доступен хотя бы один автомобиль: ${\textstyle p(x>0)=1-p(x=0)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Это распределение Пуассона, которое в скорее всего, сгенерировал наблюдаемые данные ${\displaystyle \mathbf {x} }$. Но данные также могли быть получены из другого распределения Пуассона, например один с ${\displaystyle \lambda =3}$, или же ${\displaystyle \lambda =2}$и т. д. На самом деле существует бесконечное число распределений Пуассона, которые мог сгенерировали наблюдаемые данные, и с относительно небольшим количеством точек данных мы должны быть совершенно не уверены в том, какое точное распределение Пуассона сгенерировало эти данные. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности ${\displaystyle p(x>0)}$ для каждого из этих распределений Пуассона, взвешенных по их вероятности, с учетом наблюдаемых нами данных ${\displaystyle \mathbf {x} }$.

Обычно эта величина известна как апостериорное прогнозирующее распределение ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$ куда ${\displaystyle x}$ это новая точка данных, ${\displaystyle \mathbf {x} }$ наблюдаемые данные и ${\displaystyle \theta }$ параметры модели. С помощью Теорема Байеса мы можем расширить ${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$ такой, что ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$ Обычно этот интеграл сложно вычислить. Однако, если вы выберете сопряженное предварительное распределение ${\displaystyle p(\theta )}$, можно получить выражение в закрытой форме. Это столбец апостериорного прогноза в таблицах ниже.

Возвращаясь к нашему примеру, если мы выберем Гамма-распределение как наше предварительное распределение по скорости распределений Пуассона, то апостериорным прогнозом является отрицательное биномиальное распределение как видно из последнего столбца в таблице ниже. Гамма-распределение параметризуется двумя гиперпараметрами. ${\displaystyle \alpha ,\beta }$ которые мы должны выбрать. Глядя на графики гамма-распределения, выбираем ${\displaystyle \alpha =\beta =2}$, что кажется разумным приоритетом для среднего количества автомобилей. Выбор предварительных гиперпараметров по своей сути субъективен и основан на предварительных знаниях.

Учитывая предшествующие гиперпараметры ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ мы можем вычислить апостериорные гиперпараметры ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ и ${\textstyle \beta '=\beta +n=2+3=5}$

Учитывая апостериорные гиперпараметры, мы можем, наконец, вычислить апостериорное предсказание ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Эта гораздо более консервативная оценка отражает неопределенность параметров модели, которую принимает во внимание апостериорный прогноз.

Таблица сопряженных распределений

Позволять п обозначают количество наблюдений. Во всех приведенных ниже случаях предполагается, что данные состоят из п точки ${\displaystyle x_{1},\ldots ,x_{n}}$ (которые будут случайные векторы в многомерных случаях).

Если функция правдоподобия принадлежит экспоненциальная семья тогда существует сопряженный априор, часто также в экспоненциальном семействе; видеть Экспоненциальное семейство: сопряженные распределения.

Когда функция правдоподобия представляет собой дискретное распределение

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры[примечание 1]	Интерпретация гиперпараметров	Задний прогностический[заметка 2]
Бернулли	п (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успехи, ${\displaystyle \beta }$ неудачи[заметка 3]	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$
Биномиальный	п (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успехи, ${\displaystyle \beta }$ неудачи[заметка 3]	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ (бета-бином )
Отрицательный бином с известным номером отказа, р	п (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +rn\!}$	${\displaystyle \alpha }$ общие успехи, ${\displaystyle \beta }$ неудачи[заметка 3] (т.е. ${\displaystyle {\frac {\beta }{r}}}$ эксперименты, предполагающие ${\displaystyle r}$ остается фиксированным)	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ (бета-отрицательный бином)
Пуассон	λ (ставка)	Гамма	${\displaystyle k,\,\theta \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$ всего вхождений в ${\displaystyle {\frac {1}{\theta }}}$ интервалы	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {\theta '}{\theta '+1}}\right)}$ (отрицательный бином )
			${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$ всего вхождений в ${\displaystyle \beta }$ интервалы	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {1}{1+\beta '}}\right)}$ (отрицательный бином )
Категоричный	п (вектор вероятности), k (количество категорий; т.е. размер п)	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$ куда ${\displaystyle c_{i}}$ это количество наблюдений в категории я	${\displaystyle \alpha _{i}}$ вхождения категории ${\displaystyle i}$[заметка 3]	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
Полиномиальный	п (вектор вероятности), k (количество категорий; т.е. размер п)	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$ вхождения категории ${\displaystyle i}$[заметка 3]	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ (Дирихле-полиномиальный )
Гипергеометрический с известной общей численностью населения, N	M (количество целевых участников)	Бета-биномиальный[4]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успехи, ${\displaystyle \beta }$ неудачи[заметка 3]
Геометрический	п0 (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ эксперименты, ${\displaystyle \beta }$ полные отказы[заметка 3]

Когда функция правдоподобия представляет собой непрерывное распределение

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры[примечание 1]	Интерпретация гиперпараметров	Задний прогностический[примечание 5]
Нормальный с известной дисперсией σ^2	μ (иметь в виду)	Нормальный	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${\displaystyle 1/\sigma _{0}^{2}}$ и с выборочным средним ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[5]
Нормальный с известной точностью τ	μ (иметь в виду)	Нормальный	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\tau _{0}+n\tau }$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${\displaystyle \tau _{0}}$ и с выборочным средним ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$[5]
Нормальный с известным средним μ	σ^2 (дисперсия)	Обратная гамма	${\displaystyle \mathbf {\alpha ,\,\beta } }$ [примечание 6]	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	дисперсия оценивалась из ${\displaystyle 2\alpha }$ наблюдения с выборочной дисперсией ${\displaystyle \beta /\alpha }$ (т.е. с суммой квадратичные отклонения ${\displaystyle 2\beta }$, где отклонения от известного среднего ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[5]
Нормальный с известным средним μ	σ^2 (дисперсия)	Масштабированный обратный хи-квадрат	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	дисперсия оценивалась из ${\displaystyle \nu }$ наблюдения с выборочной дисперсией ${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$[5]
Нормальный с известным средним μ	τ (точность)	Гамма	${\displaystyle \alpha ,\,\beta \!}$[примечание 4]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	точность оценивалась из ${\displaystyle 2\alpha }$ наблюдения с выборочной дисперсией ${\displaystyle \beta /\alpha }$ (т.е. с суммой квадратичные отклонения ${\displaystyle 2\beta }$, где отклонения от известного среднего ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$[5]
Нормальный[примечание 7]	μ и σ^2 Предполагая возможность обмена	Нормально-обратная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ выборочное среднее	среднее было оценено из ${\displaystyle \nu }$ наблюдения с выборочным средним ${\displaystyle \mu _{0}}$; дисперсия оценивалась из ${\displaystyle 2\alpha }$ наблюдения с выборочным средним ${\displaystyle \mu _{0}}$ и сумма квадратичные отклонения ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$[5]
Нормальный	μ и τ Предполагая возможность обмена	Нормальная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ выборочное среднее	среднее было оценено из ${\displaystyle \nu }$ наблюдения с выборочным средним ${\displaystyle \mu _{0}}$, а точность оценивалась по ${\displaystyle 2\alpha }$ наблюдения с выборочным средним ${\displaystyle \mu _{0}}$ и сумма квадратичные отклонения ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$[5]
Многомерный нормальный с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$ и с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$[5]
Многомерный нормальный с известной матрицей точности Λ	μ (средний вектор)	Многомерный нормальный	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${\displaystyle {\boldsymbol {\Lambda }}_{0}}$ и с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',({{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1})^{-1}\right)}$[5]
Многомерный нормальный с известным средним μ	Σ (ковариационная матрица)	Инверс-Уишарт	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	ковариационная матрица оценивалась из ${\displaystyle \nu }$ наблюдения с суммой произведений попарных отклонений ${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$[5]
Многомерный нормальный с известным средним μ	Λ (матрица точности)	Wishart	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	ковариационная матрица оценивалась из ${\displaystyle \nu }$ наблюдения с суммой произведений попарных отклонений ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$[5]
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Уишарт	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее было оценено из ${\displaystyle \kappa _{0}}$ наблюдения с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$; ковариационная матрица оценивалась из ${\displaystyle \nu _{0}}$ наблюдения с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$ и с суммой произведений попарных отклонений ${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$[5]
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее было оценено из ${\displaystyle \kappa _{0}}$ наблюдения с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$; ковариационная матрица оценивалась из ${\displaystyle \nu _{0}}$ наблюдения с выборочным средним ${\displaystyle {\boldsymbol {\mu }}_{0}}$ и с суммой произведений попарных отклонений ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$[5]
Униформа	${\displaystyle U(0,\theta )\!}$	Парето	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$ наблюдения с максимальным значением ${\displaystyle x_{m}}$
Парето с известным минимумом Иксм	k (форма)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$ наблюдения с суммой ${\displaystyle \beta }$ из порядок величины каждого наблюдения (т.е. логарифм отношения каждого наблюдения к минимальному ${\displaystyle x_{m}}$)
Weibull с известной формой β	θ (шкала)	Обратная гамма[4]	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$ наблюдения с суммой ${\displaystyle b}$ из β '-я степень каждого наблюдения
Лог-нормальный	То же, что и для нормального распределения после возведения данных в степень.
Экспоненциальный	λ (ставка)	Гамма	${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ наблюдения, которые в сумме ${\displaystyle \beta }$ [6]	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ (Распределение Lomax )
Гамма с известной формой α	β (ставка)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$ наблюдения с суммой ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$ [примечание 8]
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$ наблюдения с суммой ${\displaystyle \beta _{0}}$
Гамма с известной скоростью β	α (форма)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$ или же ${\displaystyle c}$ наблюдения (${\displaystyle b}$ для оценки ${\displaystyle \alpha }$, ${\displaystyle c}$ для оценки ${\displaystyle \beta }$) с продуктом ${\displaystyle a}$
Гамма [4]	α (форма), β (обратная шкала)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$ был оценен из ${\displaystyle r}$ наблюдения с продуктом ${\displaystyle p}$; ${\displaystyle \beta }$ был оценен из ${\displaystyle s}$ наблюдения с суммой ${\displaystyle q}$

Смотрите также

• Бета-биномиальное распределение

Примечания

1. Обозначается теми же символами, что и предыдущие гиперпараметры, с добавленными штрихами ('). Например ${\displaystyle \alpha }$ обозначается ${\displaystyle \alpha '}$
2. Это апостериорное прогнозирующее распределение новой точки данных ${\displaystyle {\tilde {x}}}$ учитывая наблюдаемые точки данных, с параметрами маргинализованный. Переменные с штрихами указывают апостериорные значения параметров.
3. Точная интерпретация параметров бета-распространение с точки зрения количества успехов и неудач зависит от того, какая функция используется для извлечения точечной оценки из распределения. Среднее значение бета-распределения равно ${\displaystyle {\frac {\alpha }{\alpha +\beta }},}$ что соответствует ${\displaystyle \alpha }$ успехов и ${\displaystyle \beta }$ отказов, пока режим ${\displaystyle {\frac {\alpha -1}{\alpha +\beta -2}},}$ что соответствует ${\displaystyle \alpha -1}$ успехов и ${\displaystyle \beta -1}$ неудачи. Байесовцы обычно предпочитают использовать апостериорное среднее, а не апостериорную моду в качестве точечной оценки, оправдываемой квадратичной функцией потерь, и использованием ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ математически удобнее, а использование ${\displaystyle \alpha -1}$ и ${\displaystyle \beta -1}$ имеет то преимущество, что униформа ${\displaystyle {\rm {Beta}}(1,1)}$ Prior соответствует 0 успехам и 0 неудачам. Те же проблемы применимы к Распределение Дирихле.
4. β - ставка или обратная шкала. При параметризации гамма-распределение,θ = 1/β и k = α.
5. Это апостериорное прогнозирующее распределение новой точки данных ${\displaystyle {\tilde {x}}}$ учитывая наблюдаемые точки данных, с параметрами маргинализованный. Переменные с штрихом обозначают апостериорные значения параметров. ${\displaystyle {\mathcal {N}}}$ и ${\displaystyle t_{n}}$ обратитесь к нормальное распределение и Распределение Стьюдента, соответственно, или многомерное нормальное распределение и многомерное t-распределение в многомерных случаях.
6. Что касается обратная гамма, ${\displaystyle \beta }$ это масштабный параметр
7. Другая сопряженная априорная величина для неизвестного среднего и дисперсии, но с фиксированной линейной зависимостью между ними, находится в нормальная смесь средних дисперсий, с обобщенный обратный гауссовский как распределение при смешивании конъюгатов.
8. ${\displaystyle \operatorname {CG} ()}$ это составное гамма-распределение; ${\displaystyle \operatorname {\beta '} ()}$ вот обобщенное бета-простое распределение.

Рекомендации

1. Говард Райффа и Роберт Шлайфер. Прикладная статистическая теория принятия решений. Отдел исследований, Высшая школа делового администрирования, Гарвардский университет, 1961 год.
2. Джефф Миллер и др. Самые ранние известные варианты использования некоторых слов математики, "сопряженные априорные распределения". Электронный документ, редакция от 13 ноября 2005 г., извлечена 2 декабря 2005 г.
3. Каталог см. Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С .; Рубин, Дональд Б. (2003). Байесовский анализ данных (2-е изд.). CRC Press. ISBN  1-58488-388-X.
4. Финк, Дэниел (май 1997 г.). "Сборник сопряженных приоров" (PDF). CiteSeerX  10.1.1.157.5540. Архивировано из оригинал (PDF) 29 мая 2009 г.
5. Мерфи, Кевин П. (2007), Сопряженный байесовский анализ распределения Гаусса (PDF)
6. Статистическое машинное обучение, Хан Лю и Ларри Вассерман, 2014 г., стр. 314: http://www.stat.cmu.edu/~larry/=sml/Bayes.pdf