Г-приор - g-prior

В статистика, то г-приор является объективный предварительный для коэффициентов регрессии множественная регрессия. Он был представлен Арнольд Зеллнер.^[1]Это ключевой инструмент в Байесовский и эмпирический байесовский выбор переменных.^[2][3]

Определение

Рассмотрим набор данных ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$, где ${\displaystyle x_{i}}$ находятся Евклидовы векторы и ${\displaystyle y_{i}}$ находятся скаляры Модель множественной регрессии формулируется как

${\displaystyle y_{i}=x_{i}^{\top }\beta +\varepsilon _{i}.}$

где ${\displaystyle \varepsilon _{i}}$ случайные ошибки. g-Prior Зеллнера для ${\displaystyle \beta }$ это многомерное нормальное распределение с ковариационной матрицей, пропорциональной обратной Информация Fisher матрица для ${\displaystyle \beta }$.

Предположим, что ${\displaystyle \varepsilon _{i}}$ находятся я нормальный с нулевым средним и дисперсией ${\displaystyle \psi ^{-1}}$. Позволять ${\displaystyle X}$ быть матрицей с ${\displaystyle i}$-я строка равна ${\displaystyle x_{i}^{\top }}$.Тогда г-приор для ${\displaystyle \beta }$ - многомерное нормальное распределение с априорным средним гиперпараметром. ${\displaystyle \beta _{0}}$ и ковариационная матрица, пропорциональная ${\displaystyle \psi ^{-1}(X^{\top }X)^{-1}}$, т.е.

${\displaystyle \beta |\psi \sim {\text{N}}[\beta _{0},g\psi ^{-1}(X^{\top }X)^{-1}].}$

где g - положительный скалярный параметр.

Заднее распространение ${\displaystyle \beta }$

Апостериорное распределение ${\displaystyle \beta }$ дается как

${\displaystyle \beta |\psi ,x,y\sim {\text{N}}{\Big [}q{\hat {\beta }}+(1-q)\beta _{0},{\frac {q}{\psi }}(X^{\top }X)^{-1}{\Big ]}.}$

куда ${\displaystyle q=g/(1+g)}$ и

${\displaystyle {\hat {\beta }}=(X^{\top }X)^{-1}X^{\top }y.}$

- оценка максимального правдоподобия (наименьших квадратов) ${\displaystyle \beta }$. Вектор коэффициентов регрессии ${\displaystyle \beta }$ можно оценить по его апостериорному среднему значению при g-априорности, то есть как средневзвешенное значение оценки максимального правдоподобия и ${\displaystyle \beta _{0}}$,

${\displaystyle {\tilde {\beta }}=q{\hat {\beta }}+(1-q)\beta _{0}.}$

Ясно, что при g → ∞ апостериорное среднее сходится к оценке максимального правдоподобия.

Выбор г

Оценка g несколько менее прямолинейна, чем оценка ${\displaystyle \beta }$Было предложено множество методов, включая байесовские и эмпирические байесовские оценки.^[3]

Рекомендации

1. Зеллнер, А. (1986). «Об оценке априорных распределений и байесовского регрессионного анализа с помощью априорных распределений». In Goel, P .; Зеллнер, А. (ред.). Байесовский вывод и методы принятия решений: очерки в честь Бруно де Финетти. Исследования по байесовской эконометрике и статистике. 6. Нью-Йорк: Эльзевир. С. 233–243. ISBN  978-0-444-87712-3.
2. George, E .; Фостер, Д. П. (2000). «Калибровка и выбор эмпирических байесовских переменных». Биометрика. 87 (4): 731–747. CiteSeerX  10.1.1.18.3731. Дои:10.1093 / biomet / 87.4.731.
3. Liang, F .; Paulo, R .; Molina, G .; Clyde, M.A .; Бергер, Дж. О. (2008). «Смеси g priors для выбора байесовской переменной». Журнал Американской статистической ассоциации. 103 (481): 410–423. CiteSeerX  10.1.1.206.235. Дои:10.1198/016214507000001337.