Редукция байесовской модели - Bayesian model reduction

Редукция байесовской модели это метод вычисления свидетельство и задний по параметрам Байесовский модели, которые отличаются своим приоры.^[1][2] Полная модель подгоняется к данным с использованием стандартных подходов. Затем гипотезы проверяются путем определения одной или нескольких «сокращенных» моделей с альтернативными (и обычно более ограничительными) априорными значениями, которые обычно - в пределе - отключают определенные параметры. Свидетельства и параметры сокращенных моделей затем могут быть вычислены на основе свидетельств и оценены (задний ) параметры полной модели с использованием редукции байесовской модели. Если априорные и апостериорные нормально распределенный, то есть аналитическое решение, которое можно быстро вычислить. Это имеет множество научных и инженерных приложений: они включают очень быструю оценку доказательств для большого количества моделей и упрощение оценки иерархических моделей (Параметрический эмпирический байесовский ).

Теория

Рассмотрим некоторую модель с параметрами ${\displaystyle \theta }$ и априорная плотность вероятности для этих параметров ${\displaystyle p(\theta )}$. Апостериорное представление о ${\displaystyle \theta }$ после просмотра данных ${\displaystyle p(\theta \mid y)}$ дан кем-то Правило Байеса:

${\displaystyle {\begin{aligned}p(\theta \mid y)&={\frac {p(y\mid \theta )p(\theta )}{p(y)}}\\p(y)&=\int p(y\mid \theta )p(\theta )\,d\theta \end{aligned}}}$

(1)

Вторая строка уравнения 1 - это модельное свидетельство, которое представляет собой вероятность наблюдения данных для данной модели. На практике апостериорную оценку обычно невозможно вычислить аналитически из-за сложности вычисления интеграла по параметрам. Следовательно, апостериорные оценки оцениваются с использованием таких подходов, как Отбор проб MCMC или же вариационный байесовский. Затем можно определить сокращенную модель с помощью альтернативного набора априорных значений. ${\displaystyle {\tilde {p}}(\theta )}$:

${\displaystyle {\begin{aligned}{\tilde {p}}(\theta \mid y)&={\frac {p(y\mid \theta ){\tilde {p}}(\theta )}{{\tilde {p}}(y)}}\\{\tilde {p}}(y)&=\int p(y\mid \theta ){\tilde {p}}(\theta )\,d\theta \end{aligned}}}$

(2)

Цель редукции байесовской модели - вычислить апостериорную ${\displaystyle {\tilde {p}}(\theta \mid y)}$ и доказательства ${\displaystyle {\tilde {p}}(y)}$ уменьшенной модели с заднего ${\displaystyle p(\theta \mid y)}$ и доказательства ${\displaystyle p(y)}$ полной модели. Комбинируя уравнение 1 и уравнение 2 и переставляя, уменьшенная задняя ${\displaystyle {\tilde {p}}(\theta \mid y)}$ может быть выражено как произведение полной апостериорной оценки, отношения априорных и доказательств:

${\displaystyle {\begin{aligned}{\frac {{\tilde {p}}(\theta \mid y){\tilde {p}}(y)}{p(\theta \mid y)p(y)}}&={\frac {p(y\mid \theta ){\tilde {p}}(\theta )}{p(y\mid \theta )p(\theta )}}\\\Rightarrow {\tilde {p}}(\theta \mid y)&=p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y)}}\end{aligned}}}$

(3)

Доказательства редуцированной модели получают путем интегрирования по параметрам каждой стороны уравнения:

${\displaystyle \int {\tilde {p}}(\theta \mid y)\,d\theta =\int p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y)}}\,d\theta =1}$

(4)

И при перестановке:

${\displaystyle {\begin{aligned}1&=\int p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y)}}\,d\theta \\&={\frac {p(y)}{{\tilde {p}}(y)}}\int p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}\,d\theta \\\Rightarrow {\tilde {p}}(y)&=p(y)\int p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}\,d\theta \end{aligned}}}$

(5)

Гауссовы априорные и апостериорные

При гауссовой априорной и апостериорной плотности, которые используются в контексте вариационный байесовский Редукция байесовской модели имеет простое аналитическое решение.^[1] Сначала определите нормальные плотности для априорных и апостериорных значений:

${\displaystyle {\begin{aligned}p(\theta )&=N(\theta ;\mu _{0},\Sigma _{0})\\{\tilde {p}}(\theta )&=N(\theta ;{\tilde {\mu }}_{0},{\tilde {\Sigma }}_{0})\\p(\theta \mid y)&=N(\theta ;\mu ,\Sigma )\\{\tilde {p}}(\theta \mid y)&=N(\theta ;{\tilde {\mu }},{\tilde {\Sigma }})\\\end{aligned}}}$

(6)

где символ тильды (~) указывает величины, относящиеся к сокращенной модели, а нулевой индекс - например, ${\displaystyle \mu _{0}}$ - указывает параметры приоры. Для удобства мы также определяем матрицы точности, которые являются обратными каждой ковариационной матрице:

${\displaystyle {\begin{aligned}\Pi &=\Sigma ^{-1}\\\Pi _{0}&=\Sigma _{0}^{-1}\\{\tilde {\Pi }}&={\tilde {\Sigma }}^{-1}\\{\tilde {\Pi }}_{0}&={\tilde {\Sigma }}_{0}^{-1}\\\end{aligned}}}$

(7)

Свободная энергия полной модели ${\displaystyle F}$ представляет собой приближение (нижнюю границу) свидетельства логарифмической модели: ${\displaystyle F\approx \ln {p(y)}}$ который оптимизирован явно в вариационном Байесе (или может быть восстановлен из выборочных приближений). Бесплатная энергия приведенной модели ${\displaystyle {\tilde {F}}}$ и параметры ${\displaystyle ({\tilde {\mu }},{\tilde {\Sigma }})}$ тогда даются выражениями:

${\displaystyle {\begin{aligned}{\tilde {F}}&={\frac {1}{2}}\ln |{\tilde {\Pi }}_{0}\cdot \Pi \cdot {\tilde {\Sigma }}\cdot \Sigma _{0}|\\&-{\frac {1}{2}}(\mu ^{T}\Pi \mu +{\tilde {\mu }}_{0}^{T}{\tilde {\Pi }}_{0}{\tilde {\mu }}_{0}-\mu _{0}^{T}\Pi _{0}\mu _{0}-{\tilde {\mu }}^{T}{\tilde {\Pi }}{\tilde {\mu }})+F\\{\tilde {\mu }}&={\tilde {\Sigma }}(\Pi \mu +{\tilde {\Pi }}_{0}{\tilde {\mu }}_{0}-\Pi _{0}\mu _{0})\\{\tilde {\Sigma }}&=(\Pi +{\tilde {\Pi }}_{0}-\Pi _{0})^{-1}\\\end{aligned}}}$

(8)

Пример

Пример приоры. В «полной» модели слева параметр имеет априор по Гауссу со средним значением 0 и стандартным отклонением 0,5. В «сокращенной» модели, справа, тот же параметр имеет априорное нулевое среднее значение и стандартное отклонение 1/1000. Редукция байесовской модели позволяет вывести свидетельства и параметры сокращенной модели из свидетельств и параметров полной модели.

Рассмотрим модель с параметром ${\displaystyle \theta }$ и гауссовский априор ${\displaystyle p(\theta )=N(0,0.5^{2})}$, которое является нормальным распределением со средним нулевым значением и стандартным отклонением 0,5 (показано на рисунке слева). Это предварительное утверждение говорит о том, что без каких-либо данных ожидается, что параметр будет иметь нулевое значение, но мы готовы принимать положительные или отрицательные значения (с доверительным интервалом 99% [-1,16,1,16]). Модель с этим априорном подбирается к данным, чтобы обеспечить оценку параметра ${\displaystyle q(\theta )}$ и модельное свидетельство ${\displaystyle p(y)}$.

Чтобы оценить, способствовал ли параметр доказательству модели, то есть узнали ли мы что-нибудь об этом параметре, указывается альтернативная `` сокращенная '' модель, в которой параметр имеет априорную величину с гораздо меньшей дисперсией: например, ${\displaystyle {\tilde {p}}_{0}=N(0,0.001^{2})}$. Это показано на рисунке (справа). Этот априор эффективно «выключает» параметр, говоря, что мы почти уверены, что он имеет нулевое значение. Параметр ${\displaystyle {\tilde {q}}(\theta )}$ и доказательства ${\displaystyle {\tilde {p}}(y)}$ для этой сокращенной модели быстро вычисляются из полной модели с использованием редукции байесовской модели.

Гипотеза о том, что параметр способствовал модели, затем проверяется путем сравнения полной и сокращенной моделей через Фактор Байеса, которое является соотношением модельных свидетельств:

${\displaystyle {\text{BF}}={\frac {p(y)}{{\tilde {p}}(y)}}}$

Чем больше это соотношение, тем больше доказательств для полной модели, которая включала параметр как свободный параметр. И наоборот, чем убедительнее доказательства в пользу сокращенной модели, тем больше мы можем быть уверены в том, что этот параметр не внес свой вклад. Обратите внимание, что этот метод не является специфическим для сравнения параметров «включено» или «выключено», и любые промежуточные настройки априорных значений также могут быть оценены.

Приложения

Нейровизуализация

Редукция байесовской модели изначально была разработана для использования в нейровизуализационном анализе.^[1][3] в контексте моделирования взаимодействия мозга, как часть динамическое причинно-следственное моделирование рамки (где это первоначально называлось апостериорным байесовским выбором модели).^[1] Динамические причинные модели (DCM) - это модели дифференциальных уравнений динамики мозга.^[4] Экспериментатор определяет несколько конкурирующих моделей, которые различаются по своей априорной вероятности - например, в выборе параметров, которые фиксируются на их предварительном ожидании нуля. Установив единую «полную» модель со всеми интересующими параметрами, проинформированными данными, редукция байесовской модели позволяет быстро вычислить свидетельства и параметры для конкурирующих моделей, чтобы проверить гипотезы. Эти модели могут быть указаны экспериментатором вручную или автоматически просматриваться, чтобы «отсечь» любые избыточные параметры, которые не вносят вклад в доказательства.

Редукция байесовской модели была впоследствии обобщена и применена к другим формам байесовских моделей, например параметрический эмпирический байесовский (PEB) модели групповых эффектов.^[2] Здесь он используется для вычисления свидетельств и параметров для любого заданного уровня иерархической модели при ограничениях (эмпирических априорных значениях), налагаемых уровнем выше.

Нейробиология

Байесовская модель редукции использовалась для объяснения функций мозга. По аналогии с его использованием для устранения избыточных параметров из моделей экспериментальных данных было предложено, что мозг устраняет избыточные параметры внутренних моделей мира в автономном режиме (например, во время сна).^[5][6]

Программные реализации

Редукция байесовской модели реализована в Статистическое параметрическое отображение набор инструментов, в Matlab функция spm_log_evidence_reduce.m .

Рекомендации

1. Фристон, Карл; Пенни, Уилл (июнь 2011 г.). «Выбор постфактум байесовской модели». NeuroImage. 56 (4): 2089–2099. Дои:10.1016 / j.neuroimage.2011.03.062. ISSN  1053-8119. ЧВК  3112494. PMID  21459150.
2. Фристон, Карл Дж .; Литвак, Владимир; Освал, Ашвини; Рази, Адил; Стефан, Клаас Э .; van Wijk, Bernadette C.M .; Зиглер, Габриэль; Зейдман, Питер (март 2016 г.). «Редукция байесовской модели и эмпирический байесовский метод для групповых (DCM) исследований». NeuroImage. 128: 413–431. Дои:10.1016 / j.neuroimage.2015.11.015. ISSN  1053-8119. ЧВК  4767224. PMID  26569570.
3. Rosa, M.J .; Friston, K .; Пенни, В. (июнь 2012 г.). «Апостериорный отбор динамических причинно-следственных моделей». Журнал методов неврологии. 208 (1): 66–78. Дои:10.1016 / j.jneumeth.2012.04.013. ISSN  0165-0270. ЧВК  3401996. PMID  22561579.
4. Friston, K.J .; Harrison, L .; Пенни, В. (август 2003 г.). «Динамическое причинно-следственное моделирование». NeuroImage. 19 (4): 1273–1302. Дои:10.1016 / с1053-8119 (03) 00202-7. ISSN  1053-8119. PMID  12948688. S2CID  2176588.
5. Фристон, Карл Дж .; Лин, Марко; Фрит, Кристофер Д.; Пеццуло, Джованни; Хобсон, Дж. Аллан; Ондобака, Саша (октябрь 2017). «Активный вывод, любопытство и проницательность» (PDF). Нейронные вычисления. 29 (10): 2633–2683. Дои:10.1162 / neco_a_00999. ISSN  0899-7667. PMID  28777724. S2CID  13354308.
6. Тонони, Джулио; Чирелли, Кьяра (февраль 2006 г.). «Функция сна и синаптический гомеостаз». Отзывы о медицине сна. 10 (1): 49–62. Дои:10.1016 / j.smrv.2005.05.002. ISSN  1087-0792. PMID  16376591.