Распространение ожидания - Expectation propagation

Распространение ожидания (EP) это техника в Байесовское машинное обучение.^[1]

EP находит приближения к распределение вероятностей.^[1] Он использует итеративный подход, который использует факторизационную структуру целевого распределения.^[1] Он отличается от других подходов байесовской аппроксимации, таких как вариационные байесовские методы.^[1]

Более конкретно, предположим, что мы хотим аппроксимировать неразрешимое распределение вероятностей ${displaystyle p(mathbf {x} )}$ с послушным распределением ${displaystyle q(mathbf {x} )}$. Распространение ожидания достигает этого приближения за счет минимизации Расхождение Кульбака-Лейблера ${displaystyle mathrm {KL} (p||q)}$.^[1] Вариационные байесовские методы минимизируют ${displaystyle mathrm {KL} (q||p)}$ вместо.^[1]

Если ${displaystyle q(mathbf {x} )}$ гауссовский ${displaystyle {mathcal {N}}(mathbf {x} |mu ,Sigma )}$, тогда ${displaystyle mathrm {KL} (p||q)}$ сводится к минимуму с помощью ${displaystyle mu }$ и ${displaystyle Sigma }$ будучи равным иметь в виду из ${displaystyle p(mathbf {x} )}$ и ковариация из ${displaystyle p(mathbf {x} )}$соответственно; это называется совпадение моментов.^[1]

Приложения

Распространение ожидания через согласование моментов играет жизненно важную роль в приближении индикаторные функции которые появляются при выводе уравнения передачи сообщений за TrueSkill.

Рекомендации

1. Епископ, Кристофер (2007). Распознавание образов и машинное обучение. Нью-Йорк: Springer-Verlag New York Inc. ISBN  978-0387310732.

• Томас Минка (2–5 августа 2001 г.). «Распространение ожиданий для приближенного байесовского вывода». В Джеке С. Бризе, Дафне Коллер (ред.). UAI '01: Материалы 17-й конференции по неопределенности в искусственном интеллекте (PDF). Вашингтонский университет, Сиэтл, Вашингтон, США. С. 362–369.

внешняя ссылка

• Бумаги Минки ЕР
• Список статей с использованием EP.