Энтропия Реньи - Rényi entropy

В теория информации, то Энтропия Реньи обобщает Энтропия Хартли, то Энтропия Шеннона, то энтропия столкновений и мин-энтропия. Энтропии количественно определяют разнообразие, неопределенность или случайность системы. Энтропия названа в честь Альфред Реньи.^[1] В контексте фрактальная размерность оценки, энтропия Реньи составляет основу концепции обобщенные размеры.^[2]

Энтропия Реньи важна в экологии и статистике, поскольку индекс разнообразия. Энтропия Реньи также важна в квантовая информация, где его можно использовать как меру запутанность. В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция α может быть вычислен явно в силу того, что это автоморфная функция по отношению к конкретной подгруппе модульная группа.^[3][4] В теоретическая информатика, мин-энтропия используется в контексте экстракторы случайности.

Определение

Энтропия порядка Реньи ${\displaystyle \alpha }$, куда ${\displaystyle \alpha \geq 0}$ и ${\displaystyle \alpha \neq 1}$, определяется как

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}}$ .^[1]

Здесь, ${\displaystyle X}$ дискретная случайная величина с возможными исходами ${\displaystyle 1,2,...,n}$ и соответствующие вероятности ${\displaystyle p_{i}\doteq \Pr(X=i)}$ за ${\displaystyle i=1,\dots ,n}$. В логарифм обычно считается основанием 2, особенно в контексте теория информации куда биты Если вероятности ${\displaystyle p_{i}=1/n}$ для всех ${\displaystyle i=1,\dots ,n}$, то все энтропии Реньи распределения равны: ${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$В общем случае для всех дискретных случайных величин ${\displaystyle X}$, ${\displaystyle \mathrm {H} _{\alpha }(X)}$ - невозрастающая функция от ${\displaystyle \alpha }$.

Приложения часто используют следующую связь между энтропией Реньи и п-норма вектора вероятностей:

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left(\|P\|_{\alpha }\right)}$ .

Здесь дискретное распределение вероятностей ${\displaystyle P=(p_{1},\dots ,p_{n})}$ интерпретируется как вектор в ${\displaystyle \mathbb {R} ^{n}}$ с ${\displaystyle p_{i}\geq 0}$ и ${\displaystyle \sum _{i=1}^{n}p_{i}=1}$.

Энтропия Реньи для любого ${\displaystyle \alpha \geq 0}$ является Шур вогнутый.

Особые случаи

Энтропия Реньи случайной величины с двумя возможными исходами против п₁, куда п = (п₁, 1 − п₁). Показаны ЧАС₀, ЧАС₁, ЧАС₂ и ЧАС_∞, в единицах Shannons.

В качестве α приближается к нулю, энтропия Реньи все более равномерно взвешивает все возможные события, независимо от их вероятностей. В пределе для α → 0 энтропия Реньи - это просто логарифм размера носителя Икс. Предел для α → 1 - это Энтропия Шеннона. В качестве α приближается к бесконечности, энтропия Реньи все больше определяется событиями с наибольшей вероятностью.

Хартли или макс-энтропия

Если вероятности отличны от нуля,^[5] ${\displaystyle \mathrm {H} _{0}}$ это логарифм мощность из Икс, иногда называемый Энтропия Хартли из Икс,

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |X|.\,}$

Энтропия Шеннона

Предельное значение ${\displaystyle \mathrm {H} _{\alpha }}$ в качестве α → 1 - это Энтропия Шеннона:^[6]

${\displaystyle \mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1}^{n}p_{i}\log p_{i}.}$

Энтропия столкновений

Энтропия столкновений, иногда называемое просто «энтропией Реньи», относится к случаю α = 2,

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y),}$

куда Икс и Y находятся независимые и одинаково распределенные.

Мин-энтропия

Основная статья: Мин-энтропия

В пределе как ${\displaystyle \alpha \rightarrow \infty }$, энтропия Реньи ${\displaystyle \mathrm {H} _{\alpha }}$ сходится к мин-энтропия ${\displaystyle \mathrm {H} _{\infty }}$:

${\displaystyle \mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}\,.}$

Эквивалентно мин-энтропия ${\displaystyle \mathrm {H} _{\infty }(X)}$ это наибольшее действительное число б так что все события происходят с вероятностью не более ${\displaystyle 2^{-b}}$.

Название мин-энтропия вытекает из того факта, что это наименьшая мера энтропии в семействе энтропий Реньи. В этом смысле это самый надежный способ измерения информационного содержания дискретной случайной величины. В частности, минимальная энтропия никогда не превышает Энтропия Шеннона.

Мин-энтропия имеет важные приложения для экстракторы случайности в теоретическая информатика: Экстракторы могут извлекать случайность из случайных источников с большой мин-энтропией; просто имея большой Энтропия Шеннона не хватает для этой задачи.

Неравенства между разными значениями α

Который ${\displaystyle \mathrm {H} _{\alpha }}$ не увеличивается в ${\displaystyle \alpha }$ для любого заданного распределения вероятностей ${\displaystyle p_{i}}$, что доказывается дифференцированием,^[7] в качестве

${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i}),}$

что пропорционально Дивергенция Кульбака – Лейблера (что всегда неотрицательно), где${\displaystyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$.

В частных случаях неравенство может быть доказано также Неравенство Дженсена:^[8][9]

${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$

Для значений ${\displaystyle \alpha >1}$, неравенства в обратном направлении также сохраняются. В частности, у нас есть^{[10][нужна цитата ]}

${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$

С другой стороны, энтропия Шеннона ${\displaystyle \mathrm {H} _{1}}$ может быть произвольно большим для случайной величины ${\displaystyle X}$ который имеет заданную минимальную энтропию.^{[нужна цитата ]}

Расхождение Реньи

Помимо абсолютных энтропий Реньи, Реньи также определил спектр мер дивергенции, обобщающих Дивергенция Кульбака – Лейблера.^[11]

В Расхождение Реньи порядка α или же альфа-дивергенция распределения п из раздачи Q определяется как

${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}\,}$

когда 0 < α < ∞ и α ≠ 1. Мы можем определить расходимость Реньи для специальных значений α = 0, 1, ∞ взяв предел, и в частности предел α → 1 дает расхождение Кульбака – Лейблера.

Некоторые особые случаи:

${\displaystyle D_{0}(P\|Q)=-\log Q(\{i:p_{i}>0\})}$ : минус логарифмическая вероятность при Q который п_я > 0;

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$ : минус двойной логарифм Коэффициент Бхаттачарьи; (Нильсен и Больц (2010) )

${\displaystyle D_{1}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ : the Дивергенция Кульбака – Лейблера;

${\displaystyle D_{2}(P\|Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$ : журнал ожидаемого отношения вероятностей;

${\displaystyle D_{\infty }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : логарифм максимального отношения вероятностей.

Расхождение Реньи действительно расхождение, что означает просто ${\displaystyle D_{\alpha }(P\|Q)}$ больше или равно нулю, и ноль только тогда, когда п = Q. Для любых фиксированных дистрибутивов п и Qрасходимость Реньи не убывает как функция ее порядка α, и она непрерывна на множестве α для чего конечно.^[11]

Финансовая интерпретация

Пару вероятностных распределений можно рассматривать как азартную игру, в которой одно из распределений определяет официальные шансы, а другое содержит фактические вероятности. Знание реальных вероятностей позволяет игроку получать прибыль от игры. Ожидаемая норма прибыли связана с дивергенцией Реньи следующим образом^[12]

${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$

куда ${\displaystyle m}$ это распределение, определяющее официальные шансы (т. е. "рынок") для игры, ${\displaystyle b}$ является распределением по мнению инвесторов и ${\displaystyle R}$ - неприятие риска инвестором (относительное неприятие риска Эрроу-Пратта).

Если истинное распределение ${\displaystyle p}$ (не обязательно совпадать с мнением инвестора ${\displaystyle b}$), долгосрочная ставка реализации сходится к истинному ожиданию, которое имеет аналогичную математическую структуру.^[13]

${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

Почему α = 1 особенный

Значение α = 1, что дает Энтропия Шеннона и Дивергенция Кульбака – Лейблера, особенный, потому что он находится только в α = 1 что цепное правило условной вероятности выполняется точно:

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$

для абсолютных энтропий и

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

для относительных энтропий.

Последнее, в частности, означает, что если мы ищем распределение п(Икс, а) который сводит к минимуму отклонение от некоторой основной априорной меры м(Икс, а), и мы получаем новую информацию, которая влияет только на распределение а, то распределение п(Икс|а) останки м(Икс|а), без изменений.

Остальные расхождения Реньи удовлетворяют критериям положительности и непрерывности; быть инвариантным относительно преобразований координат один к одному; и аддитивного объединения, когда А и Икс независимы, так что если п(А, Икс) = п(А)п(Икс), тогда

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$

и

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$

Более сильные свойства α = 1 количества, которые позволяют определить условная информация и взаимная информация из теории коммуникации, может быть очень важным в других приложениях или совсем неважным, в зависимости от требований этих приложений.

Экспоненциальные семьи

Энтропии и расхождения Реньи для экспоненциальная семья допускать простые выражения^[14]

${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)}$

и

${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}}$

куда

${\displaystyle J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')}$

является разностным расхождением Дженсена.

Физический смысл

Энтропия Реньи в квантовой физике не считается наблюдаемый, из-за его нелинейной зависимости от матрицы плотности. (Эта нелинейная зависимость применима даже в частном случае энтропии Шеннона.) Тем не менее, ей можно придать оперативное значение посредством двукратных измерений (также известных как статистика полного счета) передачи энергии.

Предел энтропии Реньи при ${\displaystyle \alpha \to 1}$ это энтропия фон Неймана.

Смотрите также

• Индексы разнообразия
• Энтропия Цаллиса
• Обобщенный индекс энтропии

Примечания

1. Реньи (1961)
2. Вольфрам (2002) примечание b
3. Франчини (2008) Ошибка harvtxt: нет цели: CITEREFFranchini2008 (помощь)
4. Его (2010) Ошибка harvtxt: нет цели: CITEREFIts2010 (помощь)
5. RFC 4086, стр. 6
6. Бромили, Такер и Бухова-Такер (2004)
7. Бек (1993) Ошибка harvtxt: нет цели: CITEREFBeck1993 (помощь)
8. ${\displaystyle \mathrm {H} _{1}\geq \mathrm {H} _{2}}$ держится, потому что ${\displaystyle \sum \limits _{i=1}^{M}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{M}{p_{i}^{2}}}$.
9. ${\displaystyle \mathrm {H} _{\infty }\leq \mathrm {H} _{2}}$ держится, потому что ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\leq \log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup p_{i}}$.
10. ${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }}$ держится, потому что ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}}$
11. Ван Эрвен, Тим; Харремоэс, Питер (2014). «Дивергенция Реньи и Дивергенция Кульбака – Лейблера». IEEE Transactions по теории информации. 60 (7): 3797–3820. arXiv:1206.2459. Дои:10.1109 / TIT.2014.2320500.
12. Соклаков (2018)
13. Соклаков (2018)
14. Нильсен и Нок (2011)

Рекомендации

• Бек, Кристиан; Шлёгль, Фридрих (1993). Термодинамика хаотических систем: введение. Издательство Кембриджского университета. ISBN  0521433673.
• Jizba, P .; Аримицу, Т. (2004). «Мир по Реньи: термодинамика мультифрактальных систем». Анналы физики. 312: 17–59. arXiv:cond-mat / 0207707. Bibcode:2004AnPhy.312 ... 17J. Дои:10.1016 / j.aop.2004.01.002.
• Jizba, P .; Аримицу, Т. (2004). «О наблюдаемости энтропии Реньи». Физический обзор E. 69 (2): 026128. arXiv:cond-mat / 0307698. Bibcode:2004PhRvE..69b6128J. Дои:10.1103 / PhysRevE.69.026128.
• Bromiley, P.A .; Thacker, N.A .; Бухова-Такер, Э. (2004), Энтропия Шеннона, энтропия Реньи и информация (PDF)
• Franchini, F .; Its, A.R .; Корепин, В. Е. (2008). «Энтропия Реньи как мера запутанности в квантовой спиновой цепочке». Журнал физики A: математический и теоретический. 41 (25302): 025302. arXiv:0707.2534. Bibcode:2008JPhA ... 41b5302F. Дои:10.1088/1751-8113/41/2/025302.
• «Тест Реньи», Энциклопедия математики, EMS Press, 2001 [1994]
• Герой, А.О .; Майкл, О .; Горман, Дж. (2002). «Альфа-расхождения для классификации, индексации и поиска» (PDF). CiteSeerX  10.1.1.373.2763.
• Its, A.R .; Корепин, В. Е. (2010). «Обобщенная энтропия спиновой цепочки Гейзенберга». Теоретическая и математическая физика. 164 (3): 1136–1139. Bibcode:2010TMP ... 164.1136I. Дои:10.1007 / s11232-010-0091-6.
• Nielsen, F .; Больц, С. (2010). «Центроиды Бурбеа-Рао и Бхаттачарья». IEEE Transactions по теории информации. 57 (8): 5455–5466. arXiv:1004.5049. Дои:10.1109 / TIT.2011.2159046.
• Нильсен, Франк; Нок, Ричард (2012). "Выражение в замкнутой форме для энтропии Шармы – Миттала экспоненциальных семейств". Журнал физики А. 45 (3): 032003. arXiv:1112.4221. Bibcode:2012JPhA ... 45c2003N. Дои:10.1088/1751-8113/45/3/032003.
• Нильсен, Франк; Нок, Ричард (2011). «Об энтропиях и расхождениях Реньи и Цаллиса для экспоненциальных семейств». Журнал физики А. 45 (3): 032003. arXiv:1105.3259. Bibcode:2012JPhA ... 45c2003N. Дои:10.1088/1751-8113/45/3/032003.
• Реньи, Альфред (1961). «О мерах информации и энтропии» (PDF). Труды четвертого симпозиума Беркли по математике, статистике и теории вероятностей 1960 г.. С. 547–561.
• Россо, О. А. (2006). «Анализ ЭЭГ с использованием информационных инструментов на основе вейвлетов». Журнал методов неврологии. 153 (2): 163–182. Дои:10.1016 / j.jneumeth.2005.10.009. PMID  16675027.
• Захос, К. К. (2007). «Классическая оценка квантовой энтропии». Журнал физики А. 40 (21): F407. arXiv:hep-th / 0609148. Bibcode:2007JPhA ... 40..407Z. Дои:10.1088 / 1751-8113 / 40/21 / F02.
• Назаров Ю. (2011). «Потоки энтропии Реньи». Физический обзор B. 84 (10): 205437. arXiv:1108.3537. Bibcode:2015PhRvB..91j4303A. Дои:10.1103 / PhysRevB.91.104303.
• Ансари, Мохаммад Х .; Назаров, Юлий В. (2015). «Энтропия Реньи течет из квантовых тепловых машин». Физический обзор B. 91 (10): 104303. arXiv:1408.3910. Bibcode:2015PhRvB..91j4303A. Дои:10.1103 / PhysRevB.91.104303.
• Ансари, Мохаммад Х .; Назаров, Юлий В. (2015). «Точное соответствие между потоками энтропии Реньи и физическими потоками». Физический обзор B. 91 (17): 174307. arXiv:1502.08020. Bibcode:2015PhRvB..91q4307A. Дои:10.1103 / PhysRevB.91.174307.
• Соклаков, А. Н. (2018). «Экономика разногласий - финансовая интуиция расхождения Реньи». arXiv:1811.08308.
• Ансари, Мохаммад Х .; ван Стинзель, Алвин; Назаров, Юлий В. (2019). «Производство энтропии в квантовой среде другое». Энтропия. 21 (9): 854. arXiv:1907.09241. Дои:10.3390 / e21090854.
• Вольфрам, Стивен (2002). Новый вид науки. Wolfram Media. ISBN  1579550088.