Байесовский вывод - Bayesian inference

Байесовский вывод это метод статистические выводы в котором Теорема Байеса используется для обновления вероятности гипотезы, когда больше доказательства или Информация становится доступным. Байесовский вывод - важный метод в статистика, и особенно в математическая статистика. Байесовское обновление особенно важно в динамический анализ последовательности данных. Байесовский вывод нашел применение в широком спектре деятельности, включая наука, инженерное дело, философия, лекарство, спорт, и закон. В философии теория принятия решений, Байесовский вывод тесно связан с субъективной вероятностью, которую часто называют "Байесовская вероятность ".

Введение в правило Байеса

Геометрическая визуализация теоремы Байеса. В таблице значения 2, 3, 6 и 9 дают относительные веса каждого соответствующего условия и случая. Цифры обозначают ячейки таблицы, участвующие в каждой метрике, вероятность - это доля каждой затененной цифры. Это показывает, что P (A | B) P (B) = P (B | A) P (A), т.е. P (A | B) = P (B | A) P (А)/P (B) . Аналогичные рассуждения можно использовать, чтобы показать, что P (¬A | B) = P (B | ¬A) P (¬A)/P (B) и т.п.

Основная статья: Теорема Байеса

Смотрите также: Байесовская вероятность

Формальное объяснение

Таблица сопряженности

Гипотеза Доказательства	Удовлетворите гипотезу ЧАС	Нарушить гипотезу ¬H		Всего
Есть доказательства E	P (H | E) · P (E) = P (E | H) · P (H)	P (¬H | E) · P (E) = P (E | ¬H) · P (¬H)		P (E)
Нет доказательств ¬E	P (H | ¬E) · P (¬E) = P (¬E | H) · P (H)	P (¬H | ¬E) · P (¬E) = P (¬E | ¬H) · P (¬H)		P (¬E) = 1 − P (E)
Всего	P (H)	P (¬H) = 1 − P (H)	1

Байесовский вывод выводит апостериорная вероятность как следствие из двух антецеденты: а априорная вероятность и "функция правдоподобия "получено из статистическая модель для наблюдаемых данных. Байесовский вывод вычисляет апостериорную вероятность согласно Теорема Байеса:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}$

где

• ${\displaystyle \textstyle H}$ означает любой гипотеза на чью вероятность может повлиять данные (называется доказательства ниже). Часто существуют конкурирующие гипотезы, и задача состоит в том, чтобы определить, какая из них наиболее вероятна.
• ${\displaystyle \textstyle P(H)}$, то априорная вероятность, - оценка вероятности гипотезы ${\displaystyle \textstyle H}$ перед данные ${\displaystyle \textstyle E}$, текущее свидетельство, соблюдается.
• ${\displaystyle \textstyle E}$, то доказательства, соответствует новым данным, которые не использовались при вычислении априорной вероятности.
• ${\displaystyle \textstyle P(H\mid E)}$, то апостериорная вероятность, - вероятность ${\displaystyle \textstyle H}$ данный ${\displaystyle \textstyle E}$, т.е. после ${\displaystyle \textstyle E}$ наблюдается. Это то, что мы хотим знать: вероятность гипотезы. данный наблюдаемое свидетельство.
• ${\displaystyle \textstyle P(E\mid H)}$ вероятность наблюдения ${\displaystyle \textstyle E}$ данный ${\displaystyle \textstyle H}$, и называется вероятность. В зависимости от ${\displaystyle \textstyle E}$ с участием ${\displaystyle \textstyle H}$ фиксированный, это указывает на совместимость свидетельства с данной гипотезой. Функция правдоподобия - это функция свидетельства, ${\displaystyle \textstyle E}$, в то время как апостериорная вероятность является функцией гипотезы, ${\displaystyle \textstyle H}$.
• ${\displaystyle \textstyle P(E)}$ иногда называют предельная вероятность или «модельное свидетельство». Этот фактор одинаков для всех возможных рассматриваемых гипотез (что видно из того, что гипотеза ${\displaystyle \textstyle H}$ не появляется нигде в символе, в отличие от всех других факторов), поэтому этот фактор не входит в определение относительной вероятности различных гипотез.

Для разных значений ${\displaystyle \textstyle H}$, только факторы ${\displaystyle \textstyle P(H)}$ и ${\displaystyle \textstyle P(E\mid H)}$, оба в числителе, влияют на значение ${\displaystyle \textstyle P(H\mid E)}$ - апостериорная вероятность гипотезы пропорциональна ее априорной вероятности (присущей ей вероятности) и вновь полученной вероятности (ее совместимости с новыми наблюдаемыми свидетельствами).

Правило Байеса также можно записать так:

${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$

потому что

${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$

и

${\displaystyle P(H)+P(\neg H)=1}$

где ${\displaystyle \neg H}$ не является ${\displaystyle \textstyle H}$", логическое отрицание из ${\displaystyle \textstyle H}$.

Один из быстрых и простых способов запомнить уравнение - использовать правило умножения:

${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E)}$

Альтернативы байесовскому обновлению

Байесовское обновление широко используется и удобно в вычислительном отношении. Однако это не единственное правило обновления, которое можно считать рациональным.

Ян Хакинг отметил, что традиционный "Голландская книга "аргументы не определяли байесовское обновление: они оставляли открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Взлом написал^[1][2] «И ни аргумент в голландской книге, ни какой-либо другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесианство. Таким образом, персоналист требует, чтобы динамическое допущение было байесовским. Это правда, что в последовательности персоналист мог бы отказаться от байесовской модели обучения на собственном опыте. Соль может потерять свой вкус ».

Действительно, существуют небайесовские правила обновления, которые также избегают голландских книг (как это обсуждается в литературе по теме "вероятностная кинематика ") после публикации Ричард С. Джеффри Правило, которое применяет правило Байеса к случаю, когда самому свидетельству присваивается вероятность.^[3] Дополнительные гипотезы, необходимые для однозначного требования байесовского обновления, были сочтены существенными, сложными и неудовлетворительными.^[4]

Формальное описание байесовского вывода

Определения

• ${\displaystyle x}$, точка данных в целом. На самом деле это может быть вектор ценностей.
• ${\displaystyle \theta }$, то параметр распределения точки данных, т. е. ${\displaystyle x\sim p(x\mid \theta )}$ . На самом деле это может быть вектор параметров.
• ${\displaystyle \alpha }$, то гиперпараметр распределения параметров, т.е. ${\displaystyle \theta \sim p(\theta \mid \alpha )}$ . На самом деле это может быть вектор гиперпараметров.
• ${\displaystyle \mathbf {X} }$ это образец, набор ${\displaystyle n}$ наблюдаемые точки данных, т.е. ${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$, новая точка данных, распределение которой необходимо спрогнозировать.

Байесовский вывод

• В предварительное распространение - это распределение параметра (ов) до наблюдения каких-либо данных, т.е. ${\displaystyle p(\theta \mid \alpha )}$ . Предыдущее распределение может быть нелегко определить; в таком случае одной из возможностей может быть использование Джеффрис приор чтобы получить предварительное распределение перед обновлением его новыми наблюдениями.
• В выборочное распределение - распределение наблюдаемых данных, обусловленное его параметрами, т.е. ${\displaystyle p(\mathbf {X} \mid \theta )}$ . Это также называется вероятность, особенно если рассматривать как функцию параметра (ов), иногда пишется ${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$ .
• В предельная вероятность (иногда также называют доказательства) - распределение наблюдаемых данных маргинализованный по параметру (ам), т.е. ${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }$ .
• В апостериорное распределение - распределение параметра (ов) после учета наблюдаемых данных. Это определяется Правило Байеса, который составляет основу байесовского вывода:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}$

Это выражается словами: «апостериорная пропорциональна времени предшествующей вероятности» или иногда как «апостериорная величина = время предшествующей вероятности по сравнению с доказательством».

Байесовское предсказание

• В апостериорное прогнозирующее распределение это распределение новой точки данных, маргинализованное по сравнению с апостериорным:

${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\operatorname {d} \!\theta }$

• В предварительное прогнозное распределение это распределение новой точки данных, маргинализированной по сравнению с предыдущей:

${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }$

Байесовская теория призывает использовать апостериорное прогнозирующее распределение, чтобы предсказательный вывод, т.е. к предсказывать распространение новой, ненаблюдаемой точки данных. То есть вместо фиксированной точки в качестве прогноза возвращается распределение по возможным точкам. Только так используется все апостериорное распределение параметра (ов). Для сравнения, прогноз в частотная статистика часто включает поиск оптимальной точечной оценки параметра (ов), например, по максимальная вероятность или максимальная апостериорная оценка (MAP) - а затем вставка этой оценки в формулу распределения точки данных. Недостаток этого метода состоит в том, что он не учитывает неопределенность в значении параметра и, следовательно, недооценивает отклонение прогнозного распределения.

(В некоторых случаях частотная статистика может решить эту проблему. Например, доверительные интервалы и интервалы прогноза в частотной статистике при построении из нормальное распределение с неизвестным значить и отклонение построены с использованием Распределение Стьюдента. Это правильно оценивает дисперсию благодаря тому факту, что (1) среднее значение нормально распределенных случайных величин также нормально распределено; (2) прогнозируемое распределение нормально распределенной точки данных с неизвестным средним значением и дисперсией, с использованием сопряженных или неинформативных априорных значений, имеет t-распределение Стьюдента. Однако в байесовской статистике апостериорное прогнозирующее распределение всегда можно определить точно - или, по крайней мере, с произвольным уровнем точности, когда используются численные методы.)

Оба типа прогнозных распределений имеют вид сложное распределение вероятностей (как и предельная вероятность ). Фактически, если априорное распределение является сопряженный предшествующий, и, следовательно, априорное и апостериорное распределения происходят из одного и того же семейства, легко заметить, что и априорные, и апостериорные предсказательные распределения также происходят из одного и того же семейства составных распределений. Единственное отличие состоит в том, что апостериорное прогнозирующее распределение использует обновленные значения гиперпараметров (применяя байесовские правила обновления, указанные в сопряженный предшествующий article), в то время как предыдущее прогнозирующее распределение использует значения гиперпараметров, которые появляются в предыдущем распределении.

Вывод об исключительных и исчерпывающих возможностях

Если свидетельства одновременно используются для обновления веры по набору исключительных и исчерпывающих утверждений, байесовский вывод можно рассматривать как действующий на это распределение убеждений в целом.

Общая формулировка

Схема, показывающая пространство событий ${\displaystyle \Omega }$ в общей формулировке байесовского вывода. Хотя на этой диаграмме показаны дискретные модели и события, непрерывный случай можно визуализировать аналогичным образом, используя плотности вероятности.

Предположим, процесс генерирует независимые и одинаково распределенные события. ${\displaystyle E_{n},\,\,n=1,2,3,\ldots }$, но распределение вероятностей неизвестно. Пусть пространство событий ${\displaystyle \Omega }$ представляют текущее состояние веры в этот процесс. Каждая модель представлена ​​событием ${\displaystyle M_{m}}$. Условные вероятности ${\displaystyle P(E_{n}\mid M_{m})}$ указаны для определения моделей. ${\displaystyle P(M_{m})}$ степень веры в ${\displaystyle M_{m}}$. Перед первым шагом вывода, ${\displaystyle \{P(M_{m})\}}$ это набор начальные априорные вероятности. Сумма должна быть равна 1, но в остальном они произвольны.

Предположим, что наблюдается процесс генерирования ${\displaystyle \textstyle E\in \{E_{n}\}}$. Для каждого ${\displaystyle M\in \{M_{m}\}}$, предыдущий ${\displaystyle P(M)}$ обновляется до апостериорного ${\displaystyle P(M\mid E)}$. От Теорема Байеса:^[5]

${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M)}$

После получения дополнительных доказательств эту процедуру можно повторить.

Множественные наблюдения

Для последовательности независимые и одинаково распределенные наблюдения ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$, по индукции можно показать, что повторное применение вышеизложенного эквивалентно

${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M)}$

куда

${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$

Параметрическая формулировка

Параметризуя пространство моделей, можно обновить веру во все модели за один шаг. Распределение убеждений по пространству модели затем можно рассматривать как распределение убеждений по пространству параметров. Распределения в этом разделе выражены как непрерывные, представленные плотностями вероятностей, поскольку это обычная ситуация. Однако этот метод в равной степени применим к дискретным распределениям.

Пусть вектор ${\displaystyle \mathbf {\theta } }$ охватывают пространство параметров. Пусть начальное априорное распределение по ${\displaystyle \mathbf {\theta } }$ быть ${\displaystyle p(\mathbf {\theta } \mid \mathbf {\alpha } )}$, где ${\displaystyle \mathbf {\alpha } }$ представляет собой набор параметров самого предшествующего, или гиперпараметры. Позволять ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$ быть последовательностью независимые и одинаково распределенные наблюдения событий, где все ${\displaystyle e_{i}}$ распространяются как ${\displaystyle p(e\mid \mathbf {\theta } )}$ для некоторых ${\displaystyle \mathbf {\theta } }$. Теорема Байеса применяется для поиска апостериорное распределение над ${\displaystyle \mathbf {\theta } }$:

${\displaystyle {\begin{aligned}p(\mathbf {\theta } \mid \mathbf {E} ,\mathbf {\alpha } )&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{p(\mathbf {E} \mid \mathbf {\alpha } )}}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\\&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{\int p(\mathbf {E} |\mathbf {\theta } ,\mathbf {\alpha } )p(\mathbf {\theta } \mid \mathbf {\alpha } )\,d\mathbf {\theta } }}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\end{aligned}}}$

куда

${\displaystyle p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )=\prod _{k}p(e_{k}\mid \mathbf {\theta } )}$

Математические свойства

Интерпретация фактора

${\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow \textstyle P(E\mid M)>P(E)}$. То есть, если бы модель была верной, свидетельства были бы более вероятными, чем предсказывается текущим состоянием убеждений. Обратное верно для уменьшения веры. Если вера не меняется, ${\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow \textstyle P(E\mid M)=P(E)}$. То есть доказательства не зависят от модели. Если бы модель была верной, доказательства были бы столь же вероятными, как и предсказывается текущим состоянием убеждений.

Правило Кромвеля

Основная статья: Правило Кромвеля

Если ${\displaystyle P(M)=0}$ тогда ${\displaystyle P(M\mid E)=0}$. Если ${\displaystyle P(M)=1}$, тогда ${\displaystyle P(M|E)=1}$. Это можно истолковать как то, что суровые приговоры нечувствительны к контрдоказательствам.

Первое следует непосредственно из теоремы Байеса. Последнее можно получить, применив первое правило к событию "не ${\displaystyle M}$" на месте "${\displaystyle M}$", уступая" если ${\displaystyle 1-P(M)=0}$, тогда ${\displaystyle 1-P(M\mid E)=0}$", откуда сразу следует результат.

Асимптотика заднего

Рассмотрим поведение распределения убеждений, поскольку оно обновляется большое количество раз с помощью независимые и одинаково распределенные испытания. Для достаточно хороших априорных вероятностей Теорема Бернштейна-фон Мизеса дает, что в пределе бесконечных испытаний апостериорная сходится к Гауссово распределение не зависит от первоначальной априорной точки при некоторых условиях, впервые изложенных и строго доказанных Джозеф Л. Дуб в 1948 г., а именно, если рассматриваемая случайная величина имеет конечную вероятностное пространство. Более общие результаты были получены позже статистиком Дэвид А. Фридман который опубликовал две основополагающие исследовательские работы в 1963 г. ^[6] и 1965 г. ^[7] когда и при каких обстоятельствах асимптотика апостериорного поведения гарантирована. Его статья 1963 года, как и Дуб (1949), рассматривает конечный случай и приходит к удовлетворительному заключению. Однако, если случайная величина имеет бесконечное, но счетное вероятностное пространство (т.е. соответствующая игральной кости с бесконечным множеством граней) в статье 1965 г. показано, что для плотного подмножества априорных элементов Теорема Бернштейна-фон Мизеса не применимо. В этом случае есть почти наверняка нет асимптотической сходимости. Позже, в 1980-х и 1990-х годах Вольноотпущенник и Перси Диаконис продолжал работать над случаем бесконечных счетных вероятностных пространств.^[8] Подводя итог, может быть недостаточно испытаний для подавления эффектов первоначального выбора, и особенно для больших (но конечных) систем сходимость может быть очень медленной.

Сопряженные приоры

Основная статья: Конъюгировать приор

В параметризованной форме часто предполагается, что априорное распределение происходит из семейства распределений, называемых сопряженные приоры. Полезность сопряженного априорного распределения заключается в том, что соответствующее апостериорное распределение будет в том же семействе, и вычисление может быть выражено в закрытая форма.

Оценки параметров и прогнозы

Часто желательно использовать апостериорное распределение для оценки параметра или переменной. Выберите несколько методов байесовской оценки. измерения центральной тенденции от апостериорного распределения.

Для одномерных задач существует единственная медиана для практических непрерывных задач. Задняя медиана привлекательна как робастная оценка.^[9]

Если существует конечное среднее для апостериорного распределения, то апостериорное среднее является методом оценки.^[10]

${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$

Принятие значения с наибольшей вероятностью определяет максимум апостериорный (КАРТА) оценки:^[11]

${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$

Есть примеры, когда максимум не достигается, и в этом случае набор оценок MAP равен пустой.

Существуют и другие методы оценки, которые минимизируют апостериорную рисковать (ожидаемые апостериорные потери) по отношению к функция потерь, и они представляют интерес для теория статистических решений с использованием выборочного распределения («частотная статистика»).^[12]

В апостериорное прогнозирующее распределение нового наблюдения ${\displaystyle {\tilde {x}}}$ (который не зависит от предыдущих наблюдений) определяется^[13]

${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

Примеры

Вероятность гипотезы

Таблица сопряженности

чаша Cookie-файлы		#1	#2		Всего
		ЧАС1	ЧАС2
Простой	E	30	20		50
Шоколад	¬E	10	20		30
Всего		40	40	80
п (ЧАС1|E) = 30 / 50 = 0.6

Предположим, есть две полные тарелки печенья. В чаше №1 есть 10 шоколадных чипсов и 30 простых печений, а в чаше №2 - по 20 штук каждого вида. Наш друг Фред выбирает наугад миску, а затем наугад выбирает печенье. Мы можем предположить, что нет никаких оснований полагать, что Фред относится к одной миске иначе, чем к другой, как и к печеньям. Печенье оказывается обычным. Насколько вероятно, что Фред взял его из чаши №1?

Интуитивно кажется очевидным, что ответ должен быть больше половины, поскольку в миске №1 больше простого печенья.Точный ответ дает теорема Байеса. Позволять ${\displaystyle H_{1}}$ соответствуют чаше №1, и ${\displaystyle H_{2}}$ в чашу №2. Считается, что чаши идентичны с точки зрения Фреда, поэтому ${\displaystyle P(H_{1})=P(H_{2})}$, и два должны в сумме равняться 1, так что оба равны 0,5. ${\displaystyle E}$ это наблюдение за обычным файлом cookie. По содержимому чаш мы знаем, что ${\displaystyle P(E\mid H_{1})=30/40=0.75}$ и ${\displaystyle P(E\mid H_{2})=20/40=0.5.}$ Тогда формула Байеса дает

${\displaystyle {\begin{aligned}P(H_{1}\mid E)&={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}\\\\\ &={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}\\\\\ &=0.6\end{aligned}}}$

До того, как мы наблюдали за печеньем, вероятность, которую мы присвоили Фреду, выбравшему чашу № 1, была априорной вероятностью, ${\displaystyle P(H_{1})}$, что составило 0,5. После наблюдения за файлом cookie мы должны пересмотреть вероятность, чтобы ${\displaystyle P(H_{1}\mid E)}$, что составляет 0,6.

Делаем прогноз

Пример результатов для примера археологии. Это моделирование было создано с использованием c = 15,2.

Археолог работает на месте, которое, как считается, относится к периоду средневековья, с 11 по 16 век. Однако точно неизвестно, когда именно в этот период это место было заселено. Найдены фрагменты глиняной посуды, некоторые из них глазированные, а некоторые украшенные. Ожидается, что если бы на этом месте жили люди в период раннего средневековья, то 1% гончарных изделий был бы покрыт глазурью и 50% его площади украшали бы, тогда как если бы он был заселен в период позднего средневековья, то 81% был бы застеклен и 5% его площади оформлено. Насколько точно археолог может быть уверен в дате заселения при обнаружении фрагментов?

Степень уверенности в непрерывной переменной ${\displaystyle C}$ (век) рассчитывается с дискретным набором событий ${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$ в качестве доказательства. Предполагая линейное изменение глазури и декора во времени и что эти переменные независимы,

${\displaystyle P(E=GD\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E=G{\bar {D}}\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E={\bar {G}}D\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E={\bar {G}}{\bar {D}}\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$

Предположим единообразный приор ${\displaystyle \textstyle f_{C}(c)=0.2}$, и что испытания независимые и одинаково распределенные. Когда новый фрагмент типа ${\displaystyle e}$ обнаружено, теорема Байеса применяется для уточнения степени веры для каждого ${\displaystyle c}$:

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c)}$

На графике показано компьютерное моделирование изменяющейся веры при обнаружении 50 фрагментов. В моделировании это место было заселено около 1420 г., или ${\displaystyle c=15.2}$. Подсчитав площадь под соответствующей частью графика для 50 испытаний, археолог может сказать, что практически нет шансов, что это место было заселено в XI и XII веках, примерно 1% вероятности, что оно было заселено в XIII веке 63. % шанс в 14 веке и 36% в 15 веке. В Теорема Бернштейна-фон Мизеса утверждает здесь асимптотическую сходимость к «истинному» распределению, поскольку вероятностное пространство соответствующий дискретному набору событий ${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$ конечно (см. выше раздел об асимптотическом поведении апостериорной функции).

В частотной статистике и теории принятия решений

А теоретико-решающий обоснование использования байесовского вывода было дано Авраам Вальд, который доказал, что каждая уникальная байесовская процедура допустимый. И наоборот, каждые допустимый Статистическая процедура - это либо байесовская процедура, либо предел байесовских процедур.^[14]

Вальд охарактеризовал допустимые процедуры как байесовские процедуры (и пределы байесовских процедур), сделав байесовский формализм центральной техникой в ​​таких областях частотный вывод так как оценка параметров, проверка гипотезы, и вычисления доверительные интервалы.^[15][16][17] Например:

• «При некоторых условиях все допустимые процедуры являются либо байесовскими процедурами, либо ограничениями байесовских процедур (в различных смыслах). Эти замечательные результаты, по крайней мере в их первоначальной форме, в основном принадлежат Уолду. Они полезны, потому что свойство быть байесовским легче анализировать, чем допустимость ».^[14]
• «В теории принятия решений довольно общий метод доказательства допустимости состоит в демонстрации процедуры как уникального байесовского решения».^[18]
• «В первых главах этой работы априорные распределения с конечным носителем и соответствующие байесовские процедуры использовались для установления некоторых основных теорем, относящихся к сравнению экспериментов. Байесовские процедуры в отношении более общих априорных распределений сыграли очень важную роль в развитии статистики, в том числе ее асимптотической теории ». «Есть много проблем, когда взгляд на апостериорные распределения для подходящих априорных значений сразу дает интересную информацию. Кроме того, вряд ли можно избежать этого метода в последовательном анализе».^[19]

• «Полезным фактом является то, что любое правило принятия решения Байеса, полученное путем принятия надлежащего априорного значения по всему пространству параметров, должно быть допустимым»^[20]
• «Важной областью исследования в развитии идей допустимости было исследование традиционных процедур теории выборки, и было получено много интересных результатов».^[21]

Выбор модели

Основная статья: Выбор байесовской модели

Байесовская методология также играет роль в выбор модели где цель состоит в том, чтобы выбрать одну модель из набора конкурирующих моделей, которая наиболее точно представляет основной процесс, который генерировал наблюдаемые данные. При сравнении байесовских моделей модель с наибольшим апостериорная вероятность учитывая данные выбраны. Апостериорная вероятность модели зависит от свидетельств или предельная вероятность, который отражает вероятность того, что данные генерируются моделью, и на предшествующее убеждение модели. Когда две конкурирующие модели априори считаются равновероятными, отношение их апостериорных вероятностей соответствует Фактор Байеса. Поскольку сравнение байесовских моделей направлено на выбор модели с наивысшей апостериорной вероятностью, эту методологию также называют правилом максимального апостериорного выбора (MAP). ^[22] или правило вероятности MAP.^[23]

Вероятностное программирование

Основная статья: Вероятностное программирование

Хотя байесовские методы концептуально просты, они могут быть сложными математически и численно. Вероятностные языки программирования (PPL) реализуют функции для простого построения байесовских моделей вместе с эффективными методами автоматического вывода. Это помогает отделить построение модели от логических выводов, позволяя практикам сосредоточиться на своих конкретных проблемах и оставляя PPL для обработки вычислительных деталей за них.^[24][25][26]

Приложения

Компьютерные приложения

Байесовский вывод находит применение в искусственный интеллект и экспертные системы. Байесовские методы вывода были фундаментальной частью компьютеризованного распознавание образов техники с конца 1950-х гг. Существует также постоянно растущая связь между байесовскими методами и методами моделирования. Монте-Карло методы, поскольку сложные модели не могут быть обработаны в закрытой форме с помощью байесовского анализа, в то время как графическая модель структура может позволяют использовать эффективные алгоритмы моделирования, такие как Выборка Гиббса и другие Алгоритм Метрополиса – Гастингса схемы.^[27] Недавно^{[когда? ]} Байесовский вывод приобрел популярность среди филогенетика сообщество по этим причинам; ряд приложений позволяет одновременно оценивать многие демографические и эволюционные параметры.

Применительно к статистическая классификация, Байесовский вывод был использован для разработки алгоритмов для определения спам в электронной почте. Приложения, которые используют байесовский вывод для фильтрации спама, включают CRM114, DSPAM, Богофильтр, SpamAssassin, SpamBayes, Mozilla, XEAMS и другие. Подробнее о классификации спама читайте в статье о наивный байесовский классификатор.

Индуктивный вывод Соломонова теория предсказания, основанная на наблюдениях; например, предсказание следующего символа на основе заданной серии символов. Единственное предположение состоит в том, что окружающая среда следует некоторому неизвестному, но вычислимому распределению вероятностей. Это формальная индуктивная структура, которая объединяет два хорошо изученных принципа индуктивного вывода: байесовскую статистику и Бритва Оккама.^{[28][ненадежный источник? ]} Универсальная априорная вероятность любого префикса Соломонова п вычислимой последовательности Икс представляет собой сумму вероятностей всех программ (для универсального компьютера), которые что-то вычисляют, начиная с п. Учитывая некоторые п и любое вычислимое, но неизвестное распределение вероятностей, из которого Икс является выборкой, универсальную априорную теорему и теорему Байеса можно использовать для предсказания еще невидимых частей Икс оптимальным образом.^[29][30]

Приложения для биоинформатики и здравоохранения

Байесовский вывод применялся в различных приложениях биоинформатики, включая анализ дифференциальной экспрессии генов.^[31] Байесовский вывод также используется в общей модели риска рака, называемой CIRI (Непрерывный индивидуальный индекс риска), в который включены серийные измерения для обновления байесовской модели, которая в основном построена на основе предшествующих знаний.^[32][33]

В зале суда

Основная статья: Юриметрия § Байесовский анализ доказательств

Байесовский вывод может использоваться присяжными для последовательного накопления доказательств в пользу и против обвиняемого и для проверки того, соответствует ли оно в целом их личному порогу для «вне разумного сомнения '.^[34][35][36] Теорема Байеса последовательно применяется ко всем представленным доказательствам, причем апостериорные данные одного этапа становятся предшествующими для следующего. Преимущество байесовского подхода состоит в том, что он дает присяжным беспристрастный и рациональный механизм для объединения доказательств. Возможно, будет уместно объяснить теорему Байеса присяжным заседателям в форма шансов, так как ставки ставок понимаются более широко, чем вероятности. В качестве альтернативы логарифмический подход, замена умножения сложением может быть проще для жюри.

Складывание доказательств.

Если существование преступления не вызывает сомнений, а только личность виновного, было предложено, чтобы предшествующее лицо было одинаковым для квалифицированного населения.^[37] Например, если бы преступление могло совершить 1000 человек, априорная вероятность вины была бы 1/1000.

Использование присяжными заседателей теоремы Байеса вызывает споры. В Соединенном Королевстве защита свидетель-эксперт объяснил присяжным теорему Байеса в Р против Адамс. Присяжные признали виновным, но дело было обжаловано на том основании, что присяжным, не желавшим использовать теорему Байеса, не было предоставлено никаких средств для сбора доказательств. Апелляционный суд оставил приговор в силе, но также высказал мнение, что «введение теоремы Байеса или любого подобного метода в уголовный процесс погружает присяжных в неуместные и ненужные области теории и сложности, отвлекая их от их надлежащей задачи. . "

Гарднер-Медвин^[38] утверждает, что критерием, на котором должен быть основан приговор по уголовному делу, является не вероятность вины, а скорее вероятность доказательства, учитывая, что подсудимый невиновен (сродни частотник p-значение ). Он утверждает, что если апостериорная вероятность вины должна быть вычислена по теореме Байеса, должна быть известна априорная вероятность вины. Это будет зависеть от частоты совершения преступления, что является необычным доказательством для рассмотрения в уголовном суде. Рассмотрим следующие три предложения:

А Известные факты и свидетельские показания могли возникнуть, если подсудимый виновен.

B Известные факты и свидетельские показания могли появиться, если подсудимый невиновен.

C Подсудимый виновен.

Гарднер-Медвин утверждает, что присяжные должны верить как А, так и не В, чтобы признать виновным. A и не-B подразумевают истинность C, но обратное неверно. Возможно, что B и C верны, но в этом случае он утверждает, что присяжные должны оправдать, даже если они знают, что они отпустят некоторых виновных людей. Смотрите также Парадокс Линдли.

Байесовская эпистемология

Байесовский эпистемология это движение, которое защищает байесовский вывод как средство обоснования правил индуктивной логики.

Карл Поппер и Дэвид Миллер отвергли идею байесовского рационализма, то есть использования правила Байеса для эпистемологических выводов:^[39] Склонен к тому же порочный круг как и любой другой сторонник оправдания эпистемология, потому что она предполагает то, что пытается оправдать. Согласно этой точке зрения, рациональная интерпретация байесовского вывода рассматривала бы его просто как вероятностную версию фальсификация, отвергая широко распространенное среди байесовцев мнение о том, что высокая вероятность, достигнутая серией байесовских обновлений, подтвердит гипотезу без всяких разумных сомнений или даже с вероятностью больше 0.

Другой

• В научный метод иногда интерпретируется как применение байесовского вывода. С этой точки зрения правило Байеса направляет (или должно направлять) обновление вероятностей относительно гипотезы при условии новых наблюдений или эксперименты.^[40] Байесовский вывод также применялся для лечения стохастическое планирование проблемы с неполной информацией Cai et al. (2009).^[41]
• Байесовская теория поиска используется для поиска потерянных предметов.
• Байесовский вывод в филогении
• Байесовский инструмент для анализа метилирования
• Байесовские подходы к функции мозга исследовать мозг как байесовский механизм.
• Байесовский вывод в экологических исследованиях^[42][43]
• Байесовский вывод используется для оценки параметров в стохастических химико-кинетических моделях.^[44]
• Байесовский вывод в эконофизика для валюты или прогноз фондового рынка^[45][46]

Байесовский и байесовский вывод

Проблема, рассмотренная Байесом в предложении 9 его эссе, "Эссе к решению проблемы в Доктрине Шанса ", - апостериорное распределение для параметра а (процент успеха) биномиальное распределение.^{[нужна цитата ]}

История

Основная статья: История статистики § Байесовская статистика

Период, термин Байесовский относится к Томас Байес (1702–1761), которые доказали, что вероятностные пределы могут быть наложены на неизвестное событие. Однако это было Пьер-Симон Лаплас (1749–1827), который представил (как Принцип VI) то, что сейчас называется Теорема Байеса и использовал его для решения проблем в небесная механика, медицинская статистика, надежность, и юриспруденция.^[47] Ранний байесовский вывод, в котором использовались единые априорные значения, следующие за Лапласом. принцип недостаточной причины, назывался "обратная вероятность " (потому что это делает вывод назад от наблюдений к параметрам или от следствий к причинам^[48]). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотная статистика.^[48]

В ХХ веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, что привело к задача и субъективный течения в байесовской практике. В объективном или «неинформативном» потоке статистический анализ зависит только от принятой модели, проанализированных данных,^[49] и метод присвоения приоритета, который отличается от одного объективного байесовского практикующего к другому. В субъективном или «информативном» потоке спецификация априорного зависит от убеждения (то есть предположений, на основании которых готов действовать анализ), которое может обобщать информацию от экспертов, предыдущих исследований и т. Д.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием Цепь Маркова Монте-Карло методы, которые устранили многие вычислительные проблемы и растущий интерес к нестандартным сложным приложениям.^[50] Несмотря на рост байесовских исследований, большая часть обучения в бакалавриате по-прежнему основана на частотной статистике.^[51] Тем не менее, байесовские методы широко распространены и используются, например, в области машинное обучение.^[52]

Смотрите также

• Теорема Байеса
• Байесовский анализ, журнал ISBA
• Байесовское иерархическое моделирование
• Байесовская вероятность
• Байесовская регрессия
• Байесовский структурный временной ряд (BSTS)
• Индуктивная вероятность
• Международное общество байесовского анализа (ISBA)
• Джеффрис приор
• Проблема Монти Холла
• Теория информационного поля

использованная литература

Цитаты

1. Взлом, Ян (декабрь 1967). «Немного более реалистичная личная вероятность». Философия науки. 34 (4): 316. Дои:10.1086/288169.
2. Взлом (1988, с. 124)^{[требуется полная цитата ]}
3. «Теорема Байеса (Стэнфордская философская энциклопедия)». Plato.stanford.edu. Получено 2014-01-05.
4. ван Фраассен, Б. (1989) Законы и симметрия, Oxford University Press. ISBN  0-19-824860-1
5. Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С .; Дансон, Дэвид Б.; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, Третье издание. Чепмен и Холл / CRC. ISBN  978-1-4398-4095-5.
6. Фридман, Д.А. (1963). «Об асимптотике байесовских оценок в дискретном случае». Анналы математической статистики. 34 (4): 1386–1403. Дои:10.1214 / aoms / 1177703871. JSTOR  2238346.
7. Фридман, Д.А. (1965). «Об асимптотике байесовских оценок в дискретном случае II». Анналы математической статистики. 36 (2): 454–456. Дои:10.1214 / aoms / 1177700155. JSTOR  2238150.
8. Робинс, Джеймс; Вассерман, Ларри (2000). «Условие, вероятность и согласованность: обзор некоторых основополагающих концепций». JASA. 95 (452): 1340–1346. Дои:10.1080/01621459.2000.10474344. S2CID  120767108.
9. Сен, Пранаб К.; Китинг, Дж. П .; Мейсон, Р. Л. (1993). Мера близости Питмана: сравнение статистических оценок. Филадельфия: СИАМ.
10. Чоудхури, Нидхан; Гхосал, Субхаши; Рой, Аниндья (01.01.2005). Байесовские методы оценки функций. Справочник по статистике. Байесовское мышление. 25. С. 373–414. CiteSeerX  10.1.1.324.3052. Дои:10.1016 / s0169-7161 (05) 25013-7. ISBN  9780444515391.
11. «Максимальная апостериорная оценка (MAP)». www.probabilitycourse.com. Получено 2017-06-02.
12. Ю, Анжела. «Введение в байесовскую теорию принятия решений» (PDF). cogsci.ucsd.edu/. Архивировано из оригинал (PDF) на 28 февраля 2013 г.
13. Хичкок, Дэвид. «Слайд с прогнозным распределением апостериорных данных» (PDF). stat.sc.edu.
14. Бикель и Доксум (2001, с. 32)
15. Кифер, Дж.; Шварц Р. (1965). "Допустимый байесовский характер T²-, Р²- и другие полностью инвариантные тесты для многомерных нормальных задач ». Анналы математической статистики. 36 (3): 747–770. Дои:10.1214 / aoms / 1177700051.
16. Шварц Р. (1969). "Инвариантные правильные байесовские тесты для экспоненциальных семейств". Анналы математической статистики. 40: 270–283. Дои:10.1214 / aoms / 1177697822.
17. Хван, Дж. Т. и Каселла, Джордж (1982). «Наборы минимальной достоверности для среднего многомерного нормального распределения» (PDF). Анналы статистики. 10 (3): 868–881. Дои:10.1214 / aos / 1176345877.
18. Леманн, Эрих (1986). Проверка статистических гипотез (Второе изд.). (см. стр. 309 главы 6.7 «Допустимость» и стр. 17–18 главы 1.8 «Полные классы»)
19. Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений. Springer-Verlag. ISBN  978-0-387-96307-5. (Из «Главы 12 Апостериорные распределения и байесовские решения», стр. 324)
20. Кокс, Д.; Хинкли, Д.В. (1974). Теоретическая статистика. Чепмен и Холл. п. 432. ISBN  978-0-04-121537-3.
21. Кокс, Д. Р.; Хинкли, Д.В. (1974). Теоретическая статистика. Чепмен и Холл. п. 433. ISBN  978-0-04-121537-3.)
22. Stoica, P .; Селен, Ю. (2004). «Обзор правил информационного критерия». Журнал IEEE Signal Processing Magazine. 21 (4): 36–47. Дои:10.1109 / MSP.2004.1311138. S2CID  17338979.
23. Fatermans, J .; Van Aert, S .; ден Деккер, А.Дж. (2019). «Правило максимальной апостериорной вероятности для обнаружения столбца атомов по изображениям HAADF STEM». Ультрамикроскопия. 201: 81–91. arXiv:1902.05809. Дои:10.1016 / j.ultramic.2019.02.003. PMID  30991277. S2CID  104419861.
24. Бессьер, П., Мазер, Э., Ахуакцин, Дж. М., и Мехнача, К. (2013). Байесовское программирование (1-е издание) Чепмен и Холл / CRC.
25. Дэниел Рой (2015). «Вероятностное программирование». probabilistic-programming.org. В архиве 2016-01-10 в Wayback Machine
26. Гахрамани, Z (2015). «Вероятностное машинное обучение и искусственный интеллект». Природа. 521 (7553): 452–459. Дои:10.1038 / природа14541. PMID  26017444. S2CID  216356.
27. Джим Альберт (2009). Байесовские вычисления с R, второе издание. Нью-Йорк, Дордрехт и др .: Springer. ISBN  978-0-387-92297-3.
28. Ратманнер, Сэмюэл; Хаттер, Маркус; Ормерод, Томас С (2011). «Философский трактат универсальной индукции». Энтропия. 13 (6): 1076–1136. arXiv:1105.5721. Bibcode:2011Entrp..13.1076R. Дои:10.3390 / e13061076. S2CID  2499910.
29. Хаттер, Маркус; Он, Ян-Хуэй; Ормерод, Томас С (2007). «Об универсальном предсказании и байесовском подтверждении». Теоретическая информатика. 384 (2007): 33–48. arXiv:0709.1516. Bibcode:2007arXiv0709.1516H. Дои:10.1016 / j.tcs.2007.05.016. S2CID  1500830.
30. Гач, Питер; Витани, Пол М. Б. (2 декабря 2010 г.). "Раймонд Дж. Соломонов 1926-2009". CiteSeerX. CiteSeerX  10.1.1.186.8268.
31. Робинсон, Марк Д. и Маккарти, Дэвис Дж и Смит, Гордон К. edgeR: пакет Bioconductor для анализа дифференциальной экспрессии цифровых данных экспрессии генов, Биоинформатика.
32. "CIRI". ciri.stanford.edu. Получено 2019-08-11.
33. Курц, Дэвид М .; Esfahani, Mohammad S .; Шерер, Флориан; Су, Джоанна; Джин, Майкл С .; Лю Чжи Лонг; Ньюман, Аарон М .; Дюрсен, Ульрих; Хюттманн, Андреас (25.07.2019). «Динамическое профилирование рисков с использованием серийных биомаркеров опухоли для персонализированного прогнозирования результатов». Ячейка. 178 (3): 699–713.e19. Дои:10.1016 / j.cell.2019.06.011. ISSN  1097-4172. PMID  31280963.
34. Давид А. П. и Мортера Дж. (1996) "Последовательный анализ доказательств судебной идентификации". Журнал Королевского статистического общества, Series B, 58, 425–443.
35. Форман, Л. А .; Смит, А. Ф. М., и Эветт, И. В. (1997). «Байесовский анализ данных профилирования дезоксирибонуклеиновой кислоты в приложениях судебной идентификации (с обсуждением)». Журнал Королевского статистического общества, Series A, 160, 429–469.
36. Робертсон Б. и Винно Г. А. (1995) Интерпретация доказательств: оценка судебной экспертизы в зале суда. Джон Уайли и сыновья. Чичестер. ISBN  978-0-471-96026-3
37. Давид, А. П. (2001) Теорема Байеса и взвешивание доказательств жюри В архиве 2015-07-01 на Wayback Machine
38. Гарднер-Медвин, А. (2005) "Какая вероятность должна адресоваться жюри?". Значение, 2 (1), март 2005 г.
39. Миллер, Дэвид (1994). Критический рационализм. Чикаго: Открытый суд. ISBN  978-0-8126-9197-9.
40. Хоусон и Урбах (2005), Джейнс (2003)
41. Cai, X.Q .; Wu, X.Y .; Чжоу, X. (2009). «Стохастическое календарное планирование с учетом повторных поломок с неполной информацией». Исследование операций. 57 (5): 1236–1249. Дои:10.1287 / opre.1080.0660.
42. Огл, Киона; Такер, Колин; Кейбл, Джессика М. (01.01.2014). «Помимо простых линейных моделей смешения: разделение изотопов экологических процессов на основе процессов». Экологические приложения. 24 (1): 181–195. Дои:10.1890/1051-0761-24.1.181. ISSN  1939-5582. PMID  24640543.
43. Эваристо, Джайвиме; Макдоннелл, Джеффри Дж .; Scholl, Martha A .; Брейнзил, Л. Адриан; Чун, Квок П. (01.01.2016). «Понимание поглощения воды растениями на основе измерений изотопов ксилемы в двух тропических водосборах с контрастирующими условиями влажности». Гидрологические процессы. 30 (18): 3210–3227. Bibcode:2016HyPr ... 30.3210E. Дои:10.1002 / hyp.10841. ISSN  1099-1085.
44. Гупта, Анкур; Роулингс, Джеймс Б. (апрель 2014 г.). «Сравнение методов оценки параметров в стохастических химических кинетических моделях: примеры в системной биологии». Журнал Айше. 60 (4): 1253–1268. Дои:10.1002 / aic.14409. ISSN  0001-1541. ЧВК  4946376. PMID  27429455.
45. Форнальски, К. (2016). "Байесовская модель головастика для обнаружения изменений тренда финансовых котировок" (PDF). Журнал статистики и математических наук R&R. 2 (1): 117–122.
46. Schütz, N .; Хольшнайдер М. (2011). «Обнаружение изменений тренда во временных рядах с использованием байесовского вывода». Физический обзор E. 84 (2): 021120. arXiv:1104.3448. Дои:10.1103 / PhysRevE.84.021120. PMID  21928962. S2CID  11460968.
47. Стиглер, Стивен М. (1986). "Глава 3". История статистики. Издательство Гарвардского университета.
48. Финберг, Стивен Э. (2006). "Когда байесовский вывод стал байесовским?" (PDF). Байесовский анализ. 1 (1): 1–40 [стр. 5]. Дои:10.1214 / 06-ba101. Архивировано из оригинал (PDF) 10 сентября 2014 г.
49. Бернардо, Хосе-Мигель (2005). «Справочный анализ». Справочник по статистике. 25. С. 17–90.
50. Вольперт, Р. Л. (2004). «Разговор с Джеймсом О. Бергером». Статистическая наука. 19 (1): 205–218. CiteSeerX  10.1.1.71.6112. Дои:10.1214/088342304000000053. Г-Н  2082155.
51. Бернардо, Хосе М. (2006). "Учебник по байесовской математической статистике" (PDF). Икотс-7.
52. Бишоп, К. М. (2007). Распознавание образов и машинное обучение. Нью-Йорк: Спрингер. ISBN  978-0387310732.

Источники

• Астер, Ричард; Борчерс, Брайан и Тербер, Клиффорд (2012). Оценка параметров и обратные задачи, Второе издание, Elsevier. ISBN  0123850487, ISBN  978-0123850485
• Бикель, Питер Дж. И Доксум, Челл А. (2001). Математическая статистика, Том 1: Основные и избранные темы (Второе (обновленное издание 2007 г.) изд.). Пирсон Прентис – Холл. ISBN  978-0-13-850363-5.
• Бокс, Г. Э. П. и Тяо, Г. К. (1973) Байесовский вывод в статистическом анализе, Wiley, ISBN  0-471-57428-7
• Эдвардс, Уорд (1968). «Консерватизм в обработке информации человеком». В Kleinmuntz, B. (ed.). Формальное представление человеческого суждения. Вайли.
• Эдвардс, Уорд (1982). Даниэль Канеман; Пол Слович; Амос Тверски (ред.). «Суждение в условиях неопределенности: эвристика и предубеждения». Наука. 185 (4157): 1124–1131. Bibcode:1974Научный ... 185.1124Т. Дои:10.1126 / science.185.4157.1124. PMID  17835457. S2CID  143452957. Глава: Консерватизм в обработке информации человеком (отрывок)
• Джейнс Э. Т. (2003) Теория вероятностей: логика науки, КРУЖКА. ISBN  978-0-521-59271-0 (Ссылка на фрагментарное издание марта 1996 г. ).
• Хаусон, К. И Урбах П. (2005). Научное обоснование: байесовский подход (3-е изд.). Издательская компания Open Court. ISBN  978-0-8126-9578-6.
• Phillips, L.D .; Эдвардс, Уорд (октябрь 2008 г.). "Глава 6: Консерватизм в простой задаче вероятностного вывода (Журнал экспериментальной психологии (1966) 72: 346-354) ». В Jie W. Weiss; David J. Weiss (eds.). Наука принятия решений: наследие Уорда Эдвардса. Издательство Оксфордского университета. п. 536. ISBN  978-0-19-532298-9.

дальнейшее чтение

• Полный отчет об истории байесовской статистики и дебатах с частотными подходами см. В Валлверду, Хорди (2016). Байесовцы против частотистов: философские дебаты о статистических рассуждениях. Нью-Йорк: Спрингер. ISBN  978-3-662-48638-2.

Элементарный

Следующие книги перечислены в порядке возрастания вероятностной сложности:

• Стоун, СП (2013), "Правило Байеса: Учебное введение в байесовский анализ", Загрузите первую главу здесь, Sebtel Press, Англия.
• Деннис В. Линдли (2013). Понимание неопределенности, исправленное издание (2-е изд.). Джон Вили. ISBN  978-1-118-65012-7.
• Колин Хаусон И Питер Урбах (2005). Научное обоснование: байесовский подход (3-е изд.). Издательская компания Open Court. ISBN  978-0-8126-9578-6.
• Берри, Дональд А. (1996). Статистика: байесовская перспектива. Даксбери. ISBN  978-0-534-23476-8.
• Моррис Х. ДеГрут И Марк Дж. Шервиш (2002). вероятность и статистика (третье изд.). Эддисон-Уэсли. ISBN  978-0-201-52488-8.
• Болстад, Уильям М. (2007) Введение в байесовскую статистику: Второе издание, Джон Уайли ISBN  0-471-27020-2
• Винклер, Роберт L (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN  978-0-9647938-4-2. Обновленный классический учебник. Ясно изложена байесовская теория.
• Ли, Питер М. Байесовская статистика: введение. Четвертое издание (2012), Джон Вили ISBN  978-1-1183-3257-3
• Карлин, Брэдли П. и Луи, Томас А. (2008). Байесовские методы анализа данных, третье издание. Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN  978-1-58488-697-6.
• Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С .; Дансон, Дэвид Б .; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание. Чепмен и Холл / CRC. ISBN  978-1-4398-4095-5.

Средний или продвинутый

• Бергер, Джеймс О (1985). Статистическая теория принятия решений и байесовский анализ. Серия Спрингера в статистике (второе изд.). Springer-Verlag. Bibcode:1985sdtb.book ..... B. ISBN  978-0-387-96098-2.
• Бернардо, Хосе М.; Смит, Адриан Ф. М. (1994). Байесовская теория. Вайли.
• ДеГрут, Моррис Х., Оптимальные статистические решения. Библиотека Wiley Classics. 2004. (Первоначально опубликовано (1970) McGraw-Hill.) ISBN  0-471-68029-X.
• Шервиш, Марк Дж. (1995). Теория статистики. Springer-Verlag. ISBN  978-0-387-94546-0.
• Джейнс, Э. Т. (1998) Теория вероятностей: логика науки.
• О'Хаган, А. и Форстер, Дж. (2003) Продвинутая теория статистики Кендалла, Том 2B: Байесовский вывод. Арнольд, Нью-Йорк. ISBN  0-340-52922-9.
• Роберт, Кристиан П. (2001). Байесовский выбор - мотивация, основанная на теории принятия решений (второе изд.). Springer. ISBN  978-0-387-94296-4.
• Гленн Шафер и Жемчужина, Иудея, ред. (1988) Вероятностные рассуждения в интеллектуальных системах, Сан-Матео, Калифорния: Морган Кауфманн.
• Пьер Бессьер и др. (2013), "Байесовское программирование ", CRC Press. ISBN  9781439880326
• Франсиско Дж. Саманьего (2010), «Сравнение байесовского и частотного подходов к оценке», Спрингер, Нью-Йорк, ISBN  978-1-4419-5940-9

внешние ссылки

• «Байесовский подход к статистическим задачам», Энциклопедия математики, EMS Press, 2001 [1994]
• Байесовская статистика из Scholarpedia.
• Введение в байесовскую вероятность от Лондонского университета королевы Марии
• Математические заметки по байесовской статистике и цепи Маркова Монте-Карло
• Байесовский список чтения, категоризированы и аннотированы Том Гриффитс
• А. Хайек и С. Хартманн: Байесовская эпистемология, в: J. Dancy et al. (ред.), компаньон по эпистемологии. Оксфорд: Блэквелл 2010, 93-106.
• С. Хартманн и Дж. Шпренгер: Байесовская эпистемология, в: С. Бернекер и Д. Притчард (ред.), Routledge Companion to Epistemology. Лондон: Рутледж 2010, 609–620.
• Стэнфордская энциклопедия философии: "Индуктивная логика"
• Теория байесовского подтверждения
• Что такое байесовское обучение?