Эмпирический метод Байеса - Empirical Bayes method

Эмпирические байесовские методы это процедуры для статистические выводы в котором априорное распределение оценивается по данным. Такой подход отличается от стандартного Байесовские методы, для которого априорное распределение фиксируется до того, как наблюдаются какие-либо данные. Несмотря на эту разницу во взглядах, эмпирический байесовский метод можно рассматривать как приближение к полностью байесовской трактовке иерархическая модель при этом параметры на самом высоком уровне иерархии устанавливаются на их наиболее вероятные значения, а не интегрируются. Эмпирический байесовский метод, также известный как максимум предельная вероятность,^[1] представляет собой один из подходов к настройке гиперпараметры.

Вступление

Эмпирические байесовские методы можно рассматривать как приближение к полностью байесовской трактовке иерархическая байесовская модель.

Например, в двухступенчатой ​​иерархической байесовской модели наблюдаемые данные ${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$ предполагается, что они генерируются из ненаблюдаемого набора параметров ${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$ согласно распределению вероятностей ${\displaystyle p(y\mid \theta )\,}$. В свою очередь, параметры ${\displaystyle \theta }$ можно рассматривать как выборки, взятые из совокупности, характеризующейся гиперпараметры ${\displaystyle \eta \,}$ согласно распределению вероятностей ${\displaystyle p(\theta \mid \eta )\,}$. В иерархической байесовской модели, хотя и не в эмпирическом байесовском приближении, гиперпараметры ${\displaystyle \eta \,}$ считаются взятыми из непараметризованного распределения ${\displaystyle p(\eta )\,}$.

Информация об интересующем количестве ${\displaystyle \theta _{i}\;}$ следовательно, исходит не только из свойств тех данных, которые напрямую от них зависят, но и из свойств совокупности параметров. ${\displaystyle \theta \;}$ в целом, выводится из данных в целом, резюмированных гиперпараметрами ${\displaystyle \eta \;}$.

С помощью Теорема Байеса,

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

В общем, этот интеграл не будет сговорчивым. аналитически или же символически и должен быть оценен числовой методы. Могут использоваться стохастические (случайные) или детерминированные приближения. Примеры стохастических методов: Цепь Маркова Монте-Карло и Монте-Карло отбор проб. Детерминированные приближения обсуждаются в квадратура.

В качестве альтернативы выражение можно записать как

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

а член интеграла, в свою очередь, может быть выражен как

${\displaystyle p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

Они предлагают итерационную схему, качественно похожую по структуре на Сэмплер Гиббса, чтобы развить последовательно улучшенные приближения к ${\displaystyle p(\theta \mid y)\;}$ и ${\displaystyle p(\eta \mid y)\;}$. Сначала вычислите начальное приближение к ${\displaystyle p(\theta \mid y)\;}$ игнорируя ${\displaystyle \eta }$ зависимость полностью; затем рассчитайте приближение к ${\displaystyle p(\eta \mid y)\;}$ на основе начального приближенного распределения ${\displaystyle p(\theta \mid y)\;}$; тогда используйте это ${\displaystyle p(\eta \mid y)\;}$ обновить приближение для ${\displaystyle p(\theta \mid y)\;}$; затем обновить ${\displaystyle p(\eta \mid y)\;}$; и так далее.

Когда истинное распределение ${\displaystyle p(\eta \mid y)\;}$ резко обостряется, интеграл, определяющий ${\displaystyle p(\theta \mid y)\;}$ можно не сильно изменить, заменив распределение вероятностей на ${\displaystyle \eta \;}$ с точечной оценкой ${\displaystyle \eta ^{*}\;}$ представляющий пик распределения (или, альтернативно, его среднее значение),

${\displaystyle p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.}$

При таком приближении описанная выше итерационная схема становится EM алгоритм.

Термин «эмпирический байесовский метод» может охватывать широкий спектр методов, но большинство из них можно рассматривать как раннее усечение вышеупомянутой схемы или чего-то подобного. Точечные оценки, а не все распределение, обычно используются для параметра (ов) ${\displaystyle \eta \;}$. Оценки для ${\displaystyle \eta ^{*}\;}$ обычно делаются из первого приближения к ${\displaystyle p(\theta \mid y)\;}$ без последующей доработки. Эти оценки для ${\displaystyle \eta ^{*}\;}$ обычно делаются без учета соответствующего предварительного распределения для ${\displaystyle \eta }$.

Балльная оценка

Метод Роббинса: непараметрический эмпирический байесовский метод (NPEB)

Роббинс^[2] рассмотрел случай отбора проб из смешанное распределение, где вероятность для каждого ${\displaystyle y_{i}}$ (при условии ${\displaystyle \theta _{i}}$) определяется распределение Пуассона,

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}}$

в то время как приор на θ не указано, за исключением того, что это также i.i.d. из неизвестного дистрибутива, с кумулятивная функция распределения ${\displaystyle G(\theta )}$. Отбор образцов соединений возникает при решении множества задач статистической оценки, таких как количество несчастных случаев и клинические испытания.^{[нужна цитата ]} Мы просто ищем точечный прогноз ${\displaystyle \theta _{i}}$ учитывая все наблюдаемые данные. Поскольку предшествующее положение не указано, мы стремимся сделать это, не зная грамм.^[3]

Под квадрат ошибки потери (SEL), условное ожидание E (θ_я | Y_я = у_я) является разумной величиной для прогнозирования. Для модели составной выборки Пуассона эта величина равна

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

Это можно упростить, умножив выражение на ${\displaystyle ({y_{i}}+1)/({y_{i}}+1)}$, уступая

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},}$

куда п_грамм - маргинальное распределение, полученное интегрированием θ над грамм.

Чтобы воспользоваться этим, Роббинс^[2] предложил оценивать маргиналы с их эмпирическими частотами, что дает полностью непараметрическую оценку как:

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},}$

куда ${\displaystyle \#}$ обозначает «количество». (Смотрите также Оценка частоты Гуда – Тьюринга.)

Пример - уровень аварийности

Предположим, что у каждого клиента страховой компании есть «аварийность» Θ и он застрахован от несчастных случаев; распределение вероятностей является основным распределением и неизвестно. Количество несчастных случаев, понесенных каждым клиентом в указанный период времени, имеет распределение Пуассона с ожидаемым значением, равным частоте несчастных случаев конкретного клиента. Фактическое количество несчастных случаев, с которыми столкнулся покупатель, - это наблюдаемое количество. Грубый способ оценить основное распределение вероятности частоты несчастных случаев Θ состоит в том, чтобы оценить долю членов всего населения, пострадавших от 0, 1, 2, 3, ... несчастных случаев в течение указанного периода времени, как соответствующую долю в наблюдаемом случайный пример. После этого желательно предсказать уровень аварийности каждого покупателя в выборке. Как и выше, можно использовать условный ожидаемое значение аварийности Θ с учетом наблюдаемого количества аварий за базовый период. Таким образом, если клиент терпит шесть несчастных случаев в течение базового периода, оценочная частота несчастных случаев этого клиента составляет 7 × [доля выборки, пострадавшая от семи несчастных случаев] / [доля выборки, пострадавшая от шести несчастных случаев]. Обратите внимание: если доля страдающих k несчастные случаи - это убывающая функция k, прогнозируемый уровень аварийности клиента часто будет ниже, чем наблюдаемое количество аварий.

Этот усадка Эффект типичен для эмпирического байесовского анализа.

Параметрический эмпирический байесовский

Если вероятность и ее априор принимают простые параметрические формы (например, 1- или 2-мерные функции правдоподобия с простыми сопряженные приоры ), то эмпирическая проблема Байеса состоит только в оценке маргинального ${\displaystyle m(y\mid \eta )}$ и гиперпараметры ${\displaystyle \eta }$ используя полный набор эмпирических измерений. Например, один из распространенных подходов, называемый параметрической эмпирической оценкой точки Байеса, заключается в приближении предельного значения с использованием оценка максимального правдоподобия (MLE) или Моменты расширение, позволяющее выразить гиперпараметры ${\displaystyle \eta }$ с точки зрения эмпирического среднего и дисперсии. Этот упрощенный маржинальный показатель позволяет включить эмпирические средние значения в точечную оценку для предшествующего ${\displaystyle \theta }$. Полученное уравнение для априорной ${\displaystyle \theta }$ значительно упрощено, как показано ниже.

Существует несколько общих параметрических эмпирических байесовских моделей, в том числе Модель Пуассона – гамма (ниже Бета-биномиальная модель, то Гауссово-гауссовская модель, то Полиномиальная модель Дирихле, а также специальные модели для Байесовская линейная регрессия (см. ниже) и Байесовская многомерная линейная регрессия. Более продвинутые подходы включают иерархические байесовские модели и Модели байесовской смеси.

Модель Пуассона – гамма

Например, в приведенном выше примере пусть вероятность будет распределение Пуассона, и пусть априор теперь определяется сопряженный предшествующий, который является гамма-распределение (${\displaystyle G(\alpha ,\beta )}$) (куда ${\displaystyle \eta =(\alpha ,\beta )}$):

${\displaystyle \rho (\theta \mid \alpha ,\beta )={\frac {\theta ^{\alpha -1}\,e^{-\theta /\beta }}{\beta ^{\alpha }\Gamma (\alpha )}}\ \mathrm {for} \ \theta >0,\alpha >0,\beta >0\,\!.}$

Просто показать задний также является гамма-распределением. Написать

${\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),}$

где маргинальное распределение было опущено, поскольку оно не зависит явно от ${\displaystyle \theta }$. Расширение условий, которые зависят от ${\displaystyle \theta }$ дает апостериор как:

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

Таким образом, апостериорная плотность также гамма-распределение ${\displaystyle G(\alpha ',\beta ')}$, куда ${\displaystyle \alpha '=y+\alpha }$, и ${\displaystyle \beta '=(1+1/\beta )^{-1}}$. Также обратите внимание, что маргинальное значение - это просто интеграл апостериорного значения по всем ${\displaystyle \Theta }$, который оказывается отрицательное биномиальное распределение.

Чтобы применить эмпирический байесовский метод, мы аппроксимируем маргинальное значение, используя максимальная вероятность оценка (MLE). Но поскольку апостериорное распределение является гамма-распределением, MLE маргинального значения оказывается просто средним апостериорным, то есть точечной оценкой. ${\displaystyle \operatorname {E} (\theta \mid y)}$ нам нужно. Напоминая, что среднее ${\displaystyle \mu }$ гамма-распределения ${\displaystyle G(\alpha ',\beta ')}$ просто ${\displaystyle \alpha '\beta '}$, у нас есть

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

Для получения значений ${\displaystyle \alpha }$ и ${\displaystyle \beta }$, эмпирический Байес предписывает оценку среднего ${\displaystyle \alpha \beta }$ и дисперсия ${\displaystyle \alpha \beta ^{2}}$ используя полный набор эмпирических данных.

Полученная точечная оценка ${\displaystyle \operatorname {E} (\theta \mid y)}$ поэтому подобен средневзвешенному значению выборочного среднего ${\displaystyle {\bar {y}}}$ и априорное среднее ${\displaystyle \mu =\alpha \beta }$. Оказывается, это общая черта эмпирического Байеса; Точечные оценки для априорной (т.е. средней) будут выглядеть как средневзвешенные значения выборочной оценки и априорной оценки (аналогично для оценок дисперсии).

Смотрите также

• Байесовская оценка
• Лучший линейный объективный прогноз
• Проблема Монти Холла
• Лемма Роббинса
• Выбор переменных для шпунтов и плит

Рекомендации

1. СМ. Епископ (2005). Нейронные сети для распознавания образов. Oxford University Press ISBN  0-19-853864-2
2. Роббинс, Герберт (1956). «Эмпирический байесовский подход к статистике». Труды третьего симпозиума в Беркли по математической статистике и теории вероятностей, том 1: Вклад в теорию статистики: 157–163. МИСТЕР  0084919. Получено 2008-03-15.
3. Карлин, Брэдли П.; Луи, Томас А. (2000). Байесовские и эмпирические байесовские методы анализа данных (2-е изд.). Чепмен и Холл / CRC. стр. 3.2 и приложение Б. ISBN  978-1-58488-170-4.

дальнейшее чтение

• Питер Э. Росси; Грег М. Алленби; Роб Маккалок (14 мая 2012 г.). Байесовская статистика и маркетинг. Джон Вили и сыновья. ISBN  978-0-470-86368-8.
• Казелла, Джордж (май 1985 г.). «Введение в эмпирический байесовский анализ данных» (PDF). Американский статистик. 39 (2): 83–87. Дои:10.2307/2682801. HDL:1813/32886. JSTOR  2682801. МИСТЕР  0789118.
• Никулин, Михаил (1987). «Условия регулярности Бернштейна в проблеме эмпирического байесовского подхода». Журнал советской математики. 36 (5): 596–600. Дои:10.1007 / BF01093293. S2CID  122405908.

внешняя ссылка

• Использование эмпирического метода Байеса для оценки безопасности дорожного движения (Северная Америка)
• Эмпирические байесовские методы анализа недостающих данных
• Использование бета-биномиального распределения для оценки производительности устройства биометрической идентификации
• Иерархические наивные байесовские классификаторы (для непрерывного и дискретный переменные).