Дивергенция (статистика) - Divergence (statistics)

Не путать с Отклонение (статистика), Отклонение (статистика), или же Несоответствие (статистика).

В статистика и информационная геометрия, расхождение или функция контраста это функция, которая устанавливает "расстояние" одного распределение вероятностей к другому на статистическое многообразие. Дивергенция - более слабое понятие, чем у расстояние, в частности, расхождение не обязательно должно быть симметричным (то есть, вообще говоря, расхождение от п к q не равно отклонению от q к п), и не обязательно удовлетворять неравенство треугольника.

Определение

Предполагать S это пространство всех распределения вероятностей с общей поддержкой. Затем расхождение на S это функция D(· || ·): S × S → р удовлетворение ^[1]

1. D(п || q) ≥ 0 для всех п, q ∈ S,
2. D(п || q) = 0 тогда и только тогда, когда п = q,

В двойная дивергенция D * определяется как

${\displaystyle D^{*}(p\parallel q)=D(q\parallel p).}$

Геометрические свойства

Дальнейшая информация: Информационная геометрия

Многие свойства расходимостей можно получить, если ограничить S быть статистическим многообразием, что означает, что его можно параметризовать с помощью конечномерной системы координат θ, так что для распределения п ∈ S мы можем написать п = п(θ).

За пару очков п, q ∈ S с координатами θ_п и θ_q, обозначим частные производные от D(п || q) в качестве

${\displaystyle {\begin{aligned}D((\partial _{i})_{p}\parallel q)\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}D(p\parallel q),\\D((\partial _{i}\partial _{j})_{p}\parallel (\partial _{k})_{q})\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}{\tfrac {\partial }{\partial \theta _{p}^{j}}}{\tfrac {\partial }{\partial \theta _{q}^{k}}}D(p\parallel q),\ \ \mathrm {etc.} \end{aligned}}}$

Теперь ограничим эти функции диагональю п = q, и обозначим ^[2]

${\displaystyle {\begin{aligned}D[\partial _{i}\parallel \cdot ]\ &:\ p\mapsto D((\partial _{i})_{p}\parallel p),\\D[\partial _{i}\parallel \partial _{j}]\ &:\ p\mapsto D((\partial _{i})_{p}\parallel (\partial _{j})_{p}),\ \ \mathrm {etc.} \end{aligned}}}$

По определению функция D(п || q) минимизируется при п = q, и поэтому

${\displaystyle {\begin{aligned}&D[\partial _{i}\parallel \cdot ]=D[\cdot \parallel \partial _{i}]=0,\\&D[\partial _{i}\partial _{j}\parallel \cdot ]=D[\cdot \parallel \partial _{i}\partial _{j}]=-D[\partial _{i}\parallel \partial _{j}]\ \equiv \ g_{ij}^{(D)},\end{aligned}}}$

где матрица грамм^(D) является положительный полуопределенный и определяет уникальный Риманова метрика на коллекторе S.

Расхождение D(· || ·) также определяет единственное кручение -свободный аффинная связь ∇^(D) с коэффициентами

${\displaystyle \Gamma _{ij,k}^{(D)}=-D[\partial _{i}\partial _{j}\parallel \partial _{k}],}$

и двойной этой связи ∇ * порождается двойственной расходимостью D*.

Таким образом, расхождение D(· || ·) порождает на статистическом многообразии единственную дуалистическую структуру (грамм^(D), ∇^(D), ∇^(D*)). Верно и обратное: каждая дуалистическая структура без кручения на статистическом многообразии индуцируется некоторой глобально определенной функцией дивергенции (которая, однако, не обязательно должна быть единственной).^[3]

Например, когда D является f-расхождение для некоторой функции ƒ (·), то она порождает метрика грамм^(D_ж) = c · g и связь ∇^(D_ж) = ∇^(α), куда грамм канонический Информационная метрика Fisher, ∇^(α) это α-связь, c = ƒ ′ ′ (1), и α = 3 + 2ƒ ′ ′ ′ (1) / ƒ ′ ′ (1).

Примеры

Два наиболее важных расхождения - это относительная энтропия (Дивергенция Кульбака – Лейблера, KL дивергенция), что является центральным теория информации и статистика, и квадрат евклидова расстояния (САС). Минимизация этих двух расхождений - главный способ линейная обратная задача решаются через принцип максимальной энтропии и наименьших квадратов, особенно в логистическая регрессия и линейная регрессия.^[4]

Двумя наиболее важными классами расхождений являются ж-расхождения и Расхождения Брегмана; однако в литературе встречаются и другие типы функций дивергенции. Единственное расхождение, которое одновременно ж-дивергенция и дивергенция Брегмана - дивергенция Кульбака – Лейблера; квадрат евклидовой дивергенции - это дивергенция Брегмана (соответствующая функции ${\displaystyle x^{2}}$), но не ж-расхождение.

f-расхождения

Основная статья: f-расхождение

Это семейство расхождений порождается функциями ж(ты), выпуклая на ты > 0 и такой, что ж(1) = 0. Затем ж-дивергенция определяется как

${\displaystyle D_{f}(p\parallel q)=\int p(x)f{\bigg (}{\frac {q(x)}{p(x)}}{\bigg )}dx}$

Дивергенция Кульбака – Лейблера:	${\displaystyle D_{\mathrm {KL} }(p\parallel q)=\int p(x)\ln \left({\frac {p(x)}{q(x)}}\right)dx}$
в квадрате Расстояние Хеллингера:	${\displaystyle H^{2}(p,\,q)=2\int {\Big (}{\sqrt {p(x)}}-{\sqrt {q(x)}}\,{\Big )}^{2}dx}$
Дивергенция Джеффриса:	${\displaystyle D_{J}(p\parallel q)=\int (p(x)-q(x)){\big (}\ln p(x)-\ln q(x){\big )}dx}$
Чернова α-расходимость:	${\displaystyle D^{(\alpha )}(p\parallel q)={\frac {4}{1-\alpha ^{2}}}{\bigg (}1-\int p(x)^{\frac {1-\alpha }{2}}q(x)^{\frac {1+\alpha }{2}}dx{\bigg )}}$
экспоненциальное расхождение:	${\displaystyle D_{e}(p\parallel q)=\int p(x){\big (}\ln p(x)-\ln q(x){\big )}^{2}dx}$
Расхождение Кагана:	${\displaystyle D_{\chi ^{2}}(p\parallel q)={\frac {1}{2}}\int {\frac {(p(x)-q(x))^{2}}{p(x)}}dx}$
(α,β) -расхождение продукта:	${\displaystyle D_{\alpha ,\beta }(p\parallel q)={\frac {2}{(1-\alpha )(1-\beta )}}\int {\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\alpha }{2}}}{\Big )}{\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\beta }{2}}}{\Big )}p(x)dx}$

Если Марковский процесс имеет положительное равновесное распределение вероятностей ${\displaystyle p^{*}}$ тогда ${\displaystyle D_{f}(p(t)\parallel p^{*})}$ - монотонная (невозрастающая) функция времени, где распределение вероятностей ${\displaystyle p(t)}$ это решение Колмогоровские прямые уравнения (или же Главное уравнение ), используемый для описания временной эволюции распределения вероятностей в марковском процессе. Это означает, что все ж-дивергенции ${\displaystyle D_{f}(p(t)\parallel p^{*})}$ являются Функции Ляпунова прямых уравнений Колмогорова. Верно и обратное утверждение: если ${\displaystyle H(p)}$ является функцией Ляпунова для всех цепей Маркова с положительным равновесием ${\displaystyle p^{*}}$ и имеет форму следа (${\displaystyle H(p)=\sum _{i}h(p_{i},p_{i}^{*})}$) тогда ${\displaystyle H(p)=D_{f}(p(t)\parallel p^{*})}$, для некоторой выпуклой функции ж.^[5][6] Дивергенции Брегмана в общем случае не обладают таким свойством и могут увеличиваться в марковских процессах.

Расхождения Брегмана

Основная статья: Дивергенция Брегмана

Расходимости Брегмана соответствуют выпуклым функциям на выпуклых множествах. Учитывая строго выпуклый, непрерывно дифференцируемая функция F на выпуклый набор, известный как Генератор Брегмана, то Дивергенция Брегмана измеряет выпуклость: погрешность линейной аппроксимации F из q как приблизительное значение при п:

${\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}$

Двойная дивергенция к дивергенции Брегмана - это дивергенция, порожденная выпуклый сопряженный F^* генератора Брегмана исходной дивергенции. Например, для квадрата евклидова расстояния генератор ${\displaystyle x^{2}}$, а для относительной энтропии генератором является отрицательная энтропия ${\displaystyle x\log x}$.

История

Термин «дивергенция» для статистического расстояния использовался неформально в различных контекстах от c. 1910 до с. 1940. Его официальное использование датируется по крайней мере до Бхаттачарья (1943) Ошибка harvtxt: нет цели: CITEREFBhattacharyya1943 (помощь)под названием «О мере расхождения между двумя статистическими совокупностями, определяемыми их распределениями вероятностей», в котором Бхаттачарья расстояние, и Бхаттачарья (1946) Ошибка harvtxt: нет цели: CITEREFBhattacharyya1946 (помощь), озаглавленный «Об оценке расхождения между двумя полиномиальными популяциями», в котором Угол Бхаттачарьи. Этот термин был популяризирован его использованием для Дивергенция Кульбака – Лейблера в Кульбак и Лейблер (1951) Ошибка harvtxt: нет цели: CITEREFKullbackLeibler1951 (помощь), его использование в учебнике Кульбак (1959) Ошибка harvtxt: цель отсутствует: CITEREFKullback1959 (помощь), а затем Али и Сильви (1966) Ошибка harvtxt: цель отсутствует: CITEREFAliSilvey1966 (помощь) как правило, для класса ж-расхождения. Термин «расстояние Брегмана» все еще используется, но теперь предпочтение отдается «дивергенции Брегмана». В информационной геометрии изначально использовались альтернативные термины, в том числе «квазидистанция». Амари (1982), п. 369) Ошибка harvtxt: цель отсутствует: CITEREFAmari1982 (помощь) и «функция контраста» Егучи (1985), хотя «дивергенция» использовалась в Амари (1985) Ошибка harvtxt: нет цели: CITEREFAmari1985 (помощь) для α-расходимость и стала стандартной (например, Амари и Цихоцкий (2010) Ошибка harvtxt: нет цели: CITEREFAmariCichocki2010 (помощь)).

Смотрите также

• Статистическое расстояние

Рекомендации

1. Егучи (1985)
2. Егучи (1992)
3. Матумото (1993)
4. Чисар 1991. Ошибка sfn: цель отсутствует: CITEREFCsiszár1991 (помощь)
5. Горбань, Павел А. (15 октября 2003 г.). «Монотонно эквивалентные энтропии и решение уравнения аддитивности». Physica A. 328 (3–4): 380–390. arXiv:cond-mat / 0304131. Дои:10.1016 / S0378-4371 (03) 00578-8.
6. Амари, Шуньити (2009). Leung, C.S .; Ли, М .; Чан, Дж. (ред.). Дивергенция, Оптимизация, Геометрия. 16-я Международная конференция по обработке нейронной информации (ICONIP 20009), Бангкок, Таиланд, 1-5 декабря 2009 г. Конспект лекций по информатике, том 5863. Берлин, Гейдельберг: Springer. С. 185--193. Дои:10.1007/978-3-642-10677-4_21.

• Амари, Шун-ичи; Нагаока, Хироши (2000). Методы информационной геометрии. Издательство Оксфордского университета. ISBN  0-8218-0531-2.
• Егучи, синтоизм (1985). «Дифференциально-геометрический подход к статистическому выводу на основе функционалов контраста». Математический журнал Хиросимы. 15 (2): 341–391. Дои:10.32917 / hmj / 1206130775.
• Егучи, синтоизм (1992). «Геометрия минимального контраста». Математический журнал Хиросимы. 22 (3): 631–647. Дои:10.32917 / hmj / 1206128508.
• Матумото, Такао (1993). «Любое статистическое многообразие имеет функцию контраста - на C³-функциях, принимающих минимум на диагонали многообразия-произведения». Математический журнал Хиросимы. 23 (2): 327–332. Дои:10.32917 / hmj / 1206128255.