Предельная плотность дискретных точек - Limiting density of discrete points

В теория информации, то предельная плотность дискретных точек это корректировка формулы Клод Шеннон за дифференциальная энтропия.

Его сформулировал Эдвин Томпсон Джейнс для устранения недостатков в первоначальном определении дифференциальной энтропии.

Определение

Первоначально Шеннон записал следующую формулу для энтропия непрерывного распределения, известного как дифференциальная энтропия:

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

Однако, в отличие от формулы Шеннона для дискретной энтропии, это не результат какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии на интеграл), и оказывается, что отсутствуют многие свойства, которые делают дискретную энтропию полезной. мера неопределенности. В частности, он не инвариантен относительно замена переменных и даже может стать отрицательным. Кроме того, это даже неверно по размерам. С ${\displaystyle P(x)}$ будет безразмерным, ${\displaystyle p(x)}$ должны иметь единицы ${\displaystyle {\frac {1}{dx}}}$, что означает, что аргумент логарифма не является безразмерным, как требуется.

Джейнс (1963, 1968) утверждал, что формулу для непрерывной энтропии следует выводить, взяв предел все более плотных дискретных распределений.^[1][2] Предположим, что у нас есть набор ${\displaystyle N}$ дискретные точки ${\displaystyle \{x_{i}\}}$, такое, что в пределе ${\displaystyle N\to \infty }$ их плотность приближается к функции ${\displaystyle m(x)}$ называется «инвариантной мерой».

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{number of points in }}a<x<b)=\int _{a}^{b}m(x)\,dx}$

Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, как он утверждал, следует рассматривать как правильную:

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Обычно, когда это пишется, термин ${\displaystyle \log(N)}$ опускается, так как обычно он не является конечным. Итак, фактическое общее определение

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Где неясно, действительно ли ${\displaystyle \log(N)}$ термин следует опустить, можно написать

${\displaystyle H_{N}(X)\sim \log(N)+H(X)}$

Обратите внимание, что в формуле Джейнса ${\displaystyle m(x)}$ - плотность вероятности. Понятно, что для любого конечного ${\displaystyle N}$ который ${\displaystyle m(x)}$^{[требуется дальнейшее объяснение ]} представляет собой просто равномерную плотность по квантованию непрерывного пространства, которое используется в сумме Римана. В пределе ${\displaystyle m(x)}$ - непрерывная предельная плотность точек при квантовании, используемая для представления непрерывной переменной ${\displaystyle x}$.

Предположим, у кого-то есть числовой формат, который принимает ${\displaystyle N}$ возможные значения, распределенные согласно ${\displaystyle m(x)}$. потом ${\displaystyle H_{N}(X)}$ (если ${\displaystyle N}$ достаточно велика, чтобы справедливо непрерывное приближение) - дискретная энтропия переменной ${\displaystyle x}$ в этой кодировке. Это равно среднему количеству битов, необходимых для передачи этой информации, и не превышает ${\displaystyle \log(N)}$. Следовательно, ${\displaystyle H(X)}$ можно рассматривать как количество информации, полученной, зная, что переменная ${\displaystyle x}$ следует за распределением ${\displaystyle p(x)}$, и не распределяется равномерно по возможным квантованным значениям, как было бы, если бы он следовал ${\displaystyle m(x)}$. ${\displaystyle H(X)}$ на самом деле (отрицательный) Дивергенция Кульбака – Лейблера из ${\displaystyle m(x)}$ к ${\displaystyle p(x)}$, который рассматривается как информация, полученная в результате изучения того, что переменная, ранее считавшаяся распределенной как ${\displaystyle m(x)}$ фактически распространяется как ${\displaystyle p(x)}$.

Формула непрерывной энтропии Джейнса обладает свойством инвариантности относительно замены переменных при условии, что ${\displaystyle m(x)}$ и ${\displaystyle p(x)}$ преобразуются таким же образом. (Это мотивирует название «инвариантная мера» для м.) Это решает многие трудности, возникающие при применении формулы Шеннона для непрерывной энтропии. Сам Джейнс уронил ${\displaystyle \log(N)}$ термин, поскольку он не имел отношения к его работе (максимальное распределение энтропии), и несколько неудобно иметь бесконечный член в расчетах. К сожалению, с этим ничего не поделать, если квантование выполняется произвольно точно, как это было бы в случае непрерывного предела. Обратите внимание, что ${\displaystyle H(X)}$ как определено здесь (без ${\displaystyle \log(N)}$ term) всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным.

Если это так, ${\displaystyle m(x)}$ постоянна на некотором интервале размера ${\displaystyle r}$, и ${\displaystyle p(x)}$ по существу равна нулю вне этого интервала, то предельная плотность дискретных точек (LDDP) тесно связана с дифференциальной энтропией ${\displaystyle h(X)}$

${\displaystyle H_{N}(X)\approx \log(N)-\log(r)+h(X)}$

Рекомендации

1. Джейнс, Э. Т. (1963). «Теория информации и статистическая механика». В К. Форде (ред.). Статистическая физика (PDF). Бенджамин, Нью-Йорк. п. 181.
2. Джейнс, Э. Т. (1968). «Априорные вероятности» (PDF). IEEE Transactions по системной науке и кибернетике. ССК-4: 227.

• Джейнс, Э. Т. (2003). Теория вероятностей: логика науки. Издательство Кембриджского университета. ISBN  978-0521592710.