Направленная информация - Directed information

Направленная информация, ${\displaystyle I(X^{n}\to Y^{n})}$, является мерой теория информации который измеряет количество Информация что вытекает из процесса ${\displaystyle X^{n}}$ к ${\displaystyle Y^{n}}$, куда ${\displaystyle X^{n}}$ обозначает вектор ${\displaystyle X_{1},X_{2},...,X_{n}}$ и ${\displaystyle Y^{n}}$ обозначает ${\displaystyle Y_{1},Y_{2},...,Y_{n}}$. Период, термин направленная информация был придуман Джеймс Мэсси и определяется как

${\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X_{i:1};Y_{i}|Y_{i-1:1})}$,

куда ${\displaystyle I(X_{i:1};Y_{i}|Y_{i-1:1})}$ это условная взаимная информация ${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$.Эквивалентное определение, но с несколько другими обозначениями.

${\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$,

куда ${\displaystyle X^{i}\triangleq X_{i:1}\triangleq (X_{1},X_{2},...,X_{i})}$.

Направленная информация имеет множество применений в задачах, где причинность играет важную роль, например емкость канала с обратной связью,^[1][2] емкость дискретных без памяти сети с обратной связью,^[3] играть в азартные игры с причинно-следственной информацией,^[4] сжатие с причинно-следственной информацией,^[5]И в контроль в реальном времени настройки связи,^[6][7] статистическая физика.^[8]

Оценка и оптимизация направленной информации

Оценка и оптимизация направленной информации является сложной задачей, потому что это многобуквенное выражение, а именно, оно содержит ${\displaystyle n}$ сроки и как ${\displaystyle n}$ становится все более и более сложной задачей.

Оптимизация

Существуют алгоритмы оптимизации направленной информации на основе Блахут-Аримото,^[9] Марковский процесс принятия решений,^{[10][11][12][13]} и Рекуррентная нейронная сеть^[14] и Обучение с подкреплением.^[15]В случае Блахут-Аримото,^[16] основная идея - начать с последнего элемента направленной информации и вернуться назад. В случае Марковский процесс принятия решений,^{[17][18][19][20]} основная идея - превратить оптимизацию в среднее вознаграждение с бесконечным горизонтом Марковский процесс принятия решений. За Рекуррентная нейронная сеть^[21] основная идея состоит в том, чтобы смоделировать входное расщепление с использованием Рекуррентная нейронная сеть и оптимизируем параметры с помощью Градиентный спуск. За Обучение с подкреплением ^[22] основная идея - решить Марковский процесс принятия решений формулировка емкости с использованием Обучение с подкреплением инструменты, которые позволяют нам иметь дело с большими буквами, даже с алфавитом.

Оценка

Оценка направленной информации из данных выборок является очень сложной задачей, поскольку выражение направленной информации зависит не от выборок, а от совместного распределения. ${\displaystyle \{P(x_{i},y_{i}|x^{i-1},y^{i-1}\}_{i=1}^{n})}$ что неизвестно. Существует несколько алгоритмов, основанных на вес контекстного дерева ^[23] и по эмпирическим параметрическим распределениям ^[24] и используя Долговременная кратковременная память.^[25]

Рекомендации

1. Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и направленная информация» (ISITA). CiteSeerX  10.1.1.36.5688.
2. Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации. 55 (2): 644–662. arXiv:cs / 0608070. Дои:10.1109 / TIT.2008.2009849. S2CID  13178.
3. Крамер, Г. (январь 2003 г.). «Результаты емкости для дискретной сети без памяти». IEEE Transactions по теории информации. 49 (1): 4–21. Дои:10.1109 / TIT.2002.806135.
4. Permuter, Haim H .; Ким, Ён-Хан; Вайсман, Цачи (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». IEEE Transactions по теории информации. 57 (6): 3248–3259. arXiv:0912.4872. Дои:10.1109 / TIT.2011.2136270. S2CID  11722596.
5. Симеоне, Освальдо; Пермутер, Хаим Анри (июнь 2013 г.). «Исходное кодирование, когда дополнительная информация может быть отложена». IEEE Transactions по теории информации. 59 (6): 3607–3618. arXiv:1109.1293. Дои:10.1109 / TIT.2013.2248192. S2CID  3211485.
6. Charalambous, Charalambos D .; Ставру, Фотиос А. (август 2016 г.). «Направленная информация об абстрактных пространствах: свойства и вариационные равенства». IEEE Transactions по теории информации. 62 (11): 6019–6052. arXiv:1302.3971. Дои:10.1109 / TIT.2016.2604846. S2CID  8107565.
7. Танака, Такаши; Исфахани, Пейман Мохаджерин; Миттер, Санджой К. (январь 2018 г.). «Управление LQG с минимальной направленной информацией: полуопределенный подход к программированию». IEEE Transactions по автоматическому контролю. 63 (1): 37–52. Дои:10.1109 / TAC.2017.2709618. S2CID  1401958.
8. Винклер, Дрор А; Permuter, Haim H; Мерхав, Нери (20 апреля 2016 г.). «Аналогия между азартными играми и производственным отмерением». Журнал статистической механики: теория и эксперимент. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. Дои:10.1088/1742-5468/2016/04/043403. S2CID  124719237.
9. Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). "Расширение алгоритма Блахута-Аримото для максимизации направленной информации". IEEE Transactions по теории информации. 59 (1): 204–222. Дои:10.1109 / TIT.2012.2214202. S2CID  3115749.
10. Пермутер, Хаим; Манжета, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации. 54 (7): 3150–3165. arXiv:cs / 0610047. Дои:10.1109 / TIT.2008.924681. S2CID  1265.
11. Элишко, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации. 60 (9): 5138–5149. arXiv:1205.4674. Дои:10.1109 / TIT.2014.2331951. S2CID  9761759.
12. Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации. 62 (1): 8–22. Дои:10.1109 / TIT.2015.2495239. S2CID  476381.
13. Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC, ограниченного входом $ (0, k) $ -RLL». IEEE Transactions по теории информации. 65 (7): 4097–4114. arXiv:1712.02690. Дои:10.1109 / TIT.2019.2903252. S2CID  86582654.
14. Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv:2003.04179 [cs.IT ].
15. Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv:2008.07983 [cs.IT ].
16. Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). «Расширение алгоритма Блахута-Аримото для максимизации направленной информации». IEEE Transactions по теории информации. 59 (1): 204–222. Дои:10.1109 / TIT.2012.2214202. S2CID  3115749.
17. Пермутер, Хаим; Манжета, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации. 54 (7): 3150–3165. arXiv:cs / 0610047. Дои:10.1109 / TIT.2008.924681. S2CID  1265.
18. Элишко, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации. 60 (9): 5138–5149. arXiv:1205.4674. Дои:10.1109 / TIT.2014.2331951. S2CID  9761759.
19. Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации. 62 (1): 8–22. Дои:10.1109 / TIT.2015.2495239. S2CID  476381.
20. Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC с ограничением по входу $ (0, k) $ -RLL». IEEE Transactions по теории информации. 65 (7): 4097–4114. arXiv:1712.02690. Дои:10.1109 / TIT.2019.2903252. S2CID  86582654.
21. Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv:2003.04179 [cs.IT ].
22. Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv:2008.07983 [cs.IT ].
23. Цзяо, Цзяньтао; Permuter, Haim H .; Чжао, Лэй; Ким, Ён-Хан; Вайсман, Цачи (октябрь 2013 г.). «Универсальная оценка направленной информации». IEEE Transactions по теории информации. 59 (10): 6220–6242. arXiv:1201.2334. Дои:10.1109 / TIT.2013.2267934. S2CID  10855063.
24. Куинн, Кристофер Дж .; Кияваш, Негар; Коулман, Тодд П. (декабрь 2015 г.). «Направленные информационные графы». IEEE Transactions по теории информации. 61 (12): 6887–6909. arXiv:1204.2003. Дои:10.1109 / TIT.2015.2478440. S2CID  3121664.
25. Aharoni, Z .; Цур, Д .; Goldfeld, Z .; Пермутер, Х. Х. (июнь 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». Международный симпозиум по теории информации (ISIT) 2020 IEEE: 2014–2019. Дои:10.1109 / ISIT44484.2020.9174109.