Условная взаимная информация - Conditional mutual information

Диаграмма Венна теоретико-информационных мер для трех переменных ${\displaystyle x}$, ${\displaystyle y}$, и ${\displaystyle z}$, представленные нижним левым, нижним правым и верхним кругами соответственно. Условные взаимные сведения ${\displaystyle I(x;z|y)}$, ${\displaystyle I(y;z|x)}$ и ${\displaystyle I(x;y|z)}$ представлены желтой, голубой и пурпурной областями соответственно.

В теория вероятности, особенно теория информации, то условная взаимная информация^[1][2] в своей основной форме ожидаемое значение из взаимная информация двух случайных величин с учетом значения третьей.

Определение

Для случайных величин ${\displaystyle X}$, ${\displaystyle Y}$, и ${\displaystyle Z}$ с комплекты поддержки ${\displaystyle {\mathcal {X}}}$, ${\displaystyle {\mathcal {Y}}}$ и ${\displaystyle {\mathcal {Z}}}$, определим условную взаимную информацию как

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}}$

Это можно записать в терминах оператора ожидания: ${\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}$.

Таким образом ${\displaystyle I(X;Y|Z)}$ является ожидаемым (относительно ${\displaystyle Z}$) Дивергенция Кульбака – Лейблера из условного совместного распределения ${\displaystyle P_{(X,Y)|Z}}$ к произведению условных маргиналов ${\displaystyle P_{X|Z}}$ и ${\displaystyle P_{Y|Z}}$. Сравните с определением взаимная информация.

В терминах PMF для дискретных распределений

Для дискретных случайных величин ${\displaystyle X}$, ${\displaystyle Y}$, и ${\displaystyle Z}$ с комплекты поддержки ${\displaystyle {\mathcal {X}}}$, ${\displaystyle {\mathcal {Y}}}$ и ${\displaystyle {\mathcal {Z}}}$, условная взаимная информация ${\displaystyle I(X;Y|Z)}$ как следует

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}}$

где маргинальный, совместный и / или условный вероятностные массовые функции обозначаются ${\displaystyle p}$ с соответствующим индексом. Это можно упростить как

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

С точки зрения pdf для непрерывных распределений

Для (абсолютно) непрерывных случайных величин ${\displaystyle X}$, ${\displaystyle Y}$, и ${\displaystyle Z}$ с комплекты поддержки ${\displaystyle {\mathcal {X}}}$, ${\displaystyle {\mathcal {Y}}}$ и ${\displaystyle {\mathcal {Z}}}$, условная взаимная информация ${\displaystyle I(X;Y|Z)}$ как следует

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz}$

где маргинальный, совместный и / или условный функции плотности вероятности обозначаются ${\displaystyle p}$ с соответствующим индексом. Это можно упростить как

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz.}$

Некоторые личности

В качестве альтернативы мы можем писать в терминах совместных и условных энтропии в качестве^[3]

${\displaystyle I(X;Y|Z)=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)=H(X|Z)-H(X|Y,Z)=H(X|Z)+H(Y|Z)-H(X,Y|Z).}$

Его можно переписать, чтобы показать его отношение к взаимной информации.

${\displaystyle I(X;Y|Z)=I(X;Y,Z)-I(X;Z)}$

обычно переставляется как цепное правило для взаимной информации

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y|Z)}$

Другой эквивалентной формой вышеизложенного является^[4]

${\displaystyle I(X;Y|Z)=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)}$

Как и взаимная информация, условная взаимная информация может быть выражена как Дивергенция Кульбака – Лейблера:

${\displaystyle I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].}$

Или как математическое ожидание более простых расхождений Кульбака – Лейблера:

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]}$,

${\displaystyle I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]}$.

Более общее определение

Более общее определение условной взаимной информации, применимое к случайным величинам с непрерывным или другим произвольным распределением, будет зависеть от концепции обычная условная вероятность. (Смотрите также.^[5][6])

Позволять ${\displaystyle (\Omega ,{\mathcal {F}},{\mathfrak {P}})}$ быть вероятностное пространство, и пусть случайные величины ${\displaystyle X}$, ${\displaystyle Y}$, и ${\displaystyle Z}$ каждый может быть определен как измеримая по Борелю функцию из ${\displaystyle \Omega }$ в некоторое пространство состояний, наделенное топологической структурой.

Рассмотрим борелевскую меру (на σ-алгебре, порожденной открытыми множествами) в пространстве состояний каждой случайной величины, определенной путем присвоения каждому борелевскому множеству ${\displaystyle {\mathfrak {P}}}$-меры его прообраза в ${\displaystyle {\mathcal {F}}}$. Это называется предварительная мера ${\displaystyle X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.}$ В поддержка случайной величины определяется как топологическая поддержка этой меры, т.е. ${\displaystyle \mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.}$

Теперь мы можем формально определить мера условной вероятности учитывая значение единицы (или через топология продукта, подробнее) случайных величин. Позволять ${\displaystyle M}$ быть измеримым подмножеством ${\displaystyle \Omega ,}$ (т.е. ${\displaystyle M\in {\mathcal {F}},}$) и разреши ${\displaystyle x\in \mathrm {supp} \,X.}$ Затем, используя теорема распада:

${\displaystyle {\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},}$

где предел берется по открытым окрестностям ${\displaystyle U}$ из ${\displaystyle x}$, так как им разрешено становиться произвольно меньше по отношению к установить включение.

Наконец, мы можем определить условную взаимную информацию через Интеграция Лебега:

${\displaystyle I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),}$

где подынтегральное выражение - это логарифм Производная Радона – Никодима с участием некоторых из только что определенных нами условных вероятностных мер.

Примечание к обозначениям

В таком выражении, как ${\displaystyle I(A;B|C),}$ ${\displaystyle A,}$ ${\displaystyle B,}$ и ${\displaystyle C}$ не обязательно ограничиваться представлением отдельных случайных величин, но может также представлять совместное распределение любого набора случайных величин, определенных на одном и том же вероятностное пространство. Как это принято в теория вероятности, мы можем использовать запятую для обозначения такого совместного распределения, например ${\displaystyle I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).}$ Следовательно, использование точки с запятой (или иногда двоеточия или даже клина ${\displaystyle \wedge }$) для разделения основных аргументов символа взаимной информации. (В символе такого различия нет необходимости совместная энтропия, поскольку совместная энтропия любого количества случайных величин равна энтропии их совместного распределения.)

Характеристики

Неотрицательность

Это всегда правда, что

${\displaystyle I(X;Y|Z)\geq 0}$,

для дискретных, совместно распределенных случайных величин ${\displaystyle X}$, ${\displaystyle Y}$ и ${\displaystyle Z}$. Этот результат был использован в качестве основного строительного блока для доказательства других неравенства в теории информации, в частности, неравенства типа Шеннона. Условная взаимная информация также неотрицательна для непрерывных случайных величин при определенных условиях регулярности.^[7]

Информация о взаимодействии

Использование третьей случайной величины может либо увеличить, либо уменьшить взаимную информацию: то есть разницу ${\displaystyle I(X;Y)-I(X;Y|Z)}$, называется информация о взаимодействии, может быть положительным, отрицательным или нулевым. Это так даже тогда, когда случайные величины попарно независимы. Так бывает, когда:

$${\displaystyle X\sim \mathrm {Bernoulli} (0.5),Z\sim \mathrm {Bernoulli} (0.5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\\1-X&{\text{if }}Z=1\end{array}}\right.}$$

в таком случае ${\displaystyle X}$, ${\displaystyle Y}$ и ${\displaystyle Z}$ попарно независимы и, в частности, ${\displaystyle I(X;Y)=0}$, но ${\displaystyle I(X;Y|Z)=1.}$

Цепное правило для взаимной информации

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y|Z)}$

Многомерная взаимная информация

Основная статья: Многомерная взаимная информация

Условная взаимная информация может использоваться для индуктивного определения многомерная взаимная информация в комплекте- или теоретико-мерный смысл в контексте информационные диаграммы. В этом смысле мы определяем многомерную взаимную информацию следующим образом:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),}$

куда

${\displaystyle I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{n}|X_{n+1}})].}$

Это определение идентично определению информация о взаимодействии за исключением смены знака в случае нечетного числа случайных величин. Сложность состоит в том, что эта многомерная взаимная информация (а также информация о взаимодействии) может быть положительной, отрицательной или нулевой, что затрудняет интуитивную интерпретацию этой величины. Фактически, для ${\displaystyle n}$ случайные величины, есть ${\displaystyle 2^{n}-1}$ степени свободы в отношении того, как они могут быть коррелированы в теоретико-информационном смысле, соответствующие каждому непустому подмножеству этих переменных. Эти степени свободы ограничены различными шенноновскими и нешенноновскими типами. неравенства в теории информации.

Рекомендации

1. Винер, А. Д. (1978). «Определение условной взаимной информации для произвольных ансамблей». Информация и контроль. 38 (1): 51–59. Дои:10.1016 / с0019-9958 (78) 90026-8.
2. Добрушин, Р. Л. (1959). «Общая формулировка основной теоремы Шеннона в теории информации». Успехи матем. Наук. 14: 3–104.
3. Обложка, Томас; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Нью-Йорк: Wiley-Interscience. ISBN  0-471-24195-4.
4. Разложение на Math.StackExchange
5. Регулярная условная вероятность на PlanetMath
6. D. Leao, Jr. et al. Регулярная условная вероятность, распад вероятности и радоновые пространства. Proyecciones. Vol. 23, No. 1, pp. 15–29, май 2004 г., Universidad Católica del Norte, Антофагаста, Чили PDF
7. Полянский, Юрий; Ву, Ихонг (2017). Конспект лекций по теории информации (PDF). п. 30.