Дифференциальная энтропия - Differential entropy

Дифференциальная энтропия (также называемый непрерывная энтропия) - это концепция в теория информации это началось как попытка Шеннон расширить идею (Шеннон) энтропия, мера среднего неожиданный из случайная переменная, чтобы непрерывно распределения вероятностей. К сожалению, Шеннон не вывел эту формулу, а просто предположил, что это правильный непрерывный аналог дискретной энтропии, но это не так.^{[1]:181–218} Фактическая непрерывная версия дискретной энтропии - это предельная плотность дискретных точек (LDDP). Дифференциальная энтропия (описанная здесь) обычно встречается в литературе, но это предельный случай LDDP, который теряет свою фундаментальную связь с дискретными энтропия.

Определение

Позволять ${displaystyle X}$ быть случайной величиной с функция плотности вероятности ${displaystyle f}$ чей поддерживать это набор ${displaystyle {mathcal {X}}}$. В дифференциальная энтропия ${displaystyle h(X)}$ или же ${displaystyle h(f)}$ определяется как^[2]:243

${displaystyle h(X)=-int _{mathcal {X}}f(x)log f(x),dx}$

Для распределений вероятностей, которые не имеют явного выражения функции плотности, но имеют явное квантильная функция выражение, ${displaystyle Q(p)}$, тогда ${displaystyle h(Q)}$ можно определить в терминах производной от ${displaystyle Q(p)}$ т.е. квантильная функция плотности ${displaystyle Q'(p)}$ в качестве ^[3]:54–59

${displaystyle h(Q)=int _{0}^{1}log Q'(p),dp}$.

Как и в случае с его дискретным аналогом, единицы дифференциальной энтропии зависят от основания логарифм, что обычно равно 2 (т.е. биты ). Видеть логарифмические единицы для логарифмов, взятых по разным основаниям. Связанные понятия, такие как соединение, условный дифференциальная энтропия и относительная энтропия определяются аналогичным образом. В отличие от дискретного аналога, дифференциальная энтропия имеет смещение, которое зависит от единиц измерения, используемых для измерения. ${displaystyle X}$.^{[4]:183–184} Например, дифференциальная энтропия величины, измеренной в миллиметрах, будет на log (1000) больше, чем такая же величина, измеренная в метрах; безразмерная величина будет иметь дифференциальную энтропию на log (1000) больше, чем такая же величина, деленная на 1000.

Следует проявлять осторожность, пытаясь применить свойства дискретной энтропии к дифференциальной энтропии, поскольку функции плотности вероятности могут быть больше 1. Например, равномерное распределение ${displaystyle {mathcal {U}}(0,1/2)}$ имеет отрицательный дифференциальная энтропия

${displaystyle int _{0}^{frac {1}{2}}-2log(2),dx=-log(2),}$.

Таким образом, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии.

Обратите внимание, что непрерывный взаимная информация ${displaystyle I(X;Y)}$ отличается тем, что сохраняет свое фундаментальное значение в качестве меры дискретной информации, поскольку фактически является пределом дискретной взаимной информации перегородки из ${displaystyle X}$ и ${displaystyle Y}$ поскольку эти перегородки становятся все тоньше и тоньше. Таким образом, он инвариантен относительно нелинейных гомеоморфизмы (непрерывные и однозначно обратимые отображения), ^[5] включая линейные ^[6] трансформации ${displaystyle X}$ и ${displaystyle Y}$, и по-прежнему представляет количество дискретной информации, которая может быть передана по каналу, допускающему непрерывное пространство значений.

О прямом аналоге дискретной энтропии, распространенном на непрерывное пространство, см. предельная плотность дискретных точек.

Свойства дифференциальной энтропии

• Для плотностей вероятностей ${displaystyle f}$ и ${displaystyle g}$, то Дивергенция Кульбака – Лейблера ${displaystyle D_{KL}(f||g)}$ больше или равно 0 с равенством, только если ${displaystyle f=g}$ почти всюду. Аналогично для двух случайных величин ${displaystyle X}$ и ${displaystyle Y}$, ${displaystyle I(X;Y)geq 0}$ и ${displaystyle h(X|Y)leq h(X)}$ с равенством если и только если ${displaystyle X}$ и ${displaystyle Y}$ находятся независимый.
• Цепное правило для дифференциальной энтропии выполняется так же, как и в дискретном случае^[2]:253

${displaystyle h(X_{1},ldots ,X_{n})=sum _{i=1}^{n}h(X_{i}|X_{1},ldots ,X_{i-1})leq sum _{i=1}^{n}h(X_{i})}$.

• Дифференциальная энтропия инвариантна относительно трансляции, т.е. для константы ${displaystyle c}$.^[2]:253

${displaystyle h(X+c)=h(X)}$

• Дифференциальная энтропия, вообще говоря, не инвариантна относительно произвольных обратимых отображений.

В частности, для постоянного ${displaystyle a}$

${displaystyle h(aX)=h(X)+log |a|}$

Для векторной случайной величины ${displaystyle mathbf {X} }$ и обратимый (квадрат) матрица ${displaystyle mathbf {A} }$

${displaystyle h(mathbf {A} mathbf {X} )=h(mathbf {X} )+log left(|det mathbf {A} |ight)}$^[2]:253

• В общем, для преобразования случайного вектора в другой случайный вектор той же размерности ${displaystyle mathbf {Y} =mleft(mathbf {X} ight)}$, соответствующие энтропии связаны соотношением

${displaystyle h(mathbf {Y} )leq h(mathbf {X} )+int f(x)log leftvert {frac {partial m}{partial x}}ightvert dx}$

куда ${displaystyle leftvert {frac {partial m}{partial x}}ightvert }$ это Якобиан трансформации ${displaystyle m}$.^[7] Вышеупомянутое неравенство становится равенством, если преобразование является биекцией. Кроме того, когда ${displaystyle m}$ - жесткое вращение, перенос или их комбинация, определитель Якоби всегда равен 1, и ${displaystyle h(Y)=h(X)}$.

• Если случайный вектор ${displaystyle Xin mathbb {R} ^{n}}$ имеет нулевое среднее значение и ковариация матрица ${displaystyle K}$, ${displaystyle h(mathbf {X} )leq {frac {1}{2}}log(det {2pi eK})={frac {1}{2}}log[(2pi e)^{n}det {K}]}$ с равенством тогда и только тогда, когда ${displaystyle X}$ является совместно гауссовский (видеть ниже ).^[2]:254

Однако у дифференциальной энтропии нет других желаемых свойств:

• Он не инвариантен относительно замена переменных, и поэтому наиболее полезен для безразмерных переменных.
• Это может быть отрицательно.

Модификация дифференциальной энтропии, которая устраняет эти недостатки, представляет собой относительная информационная энтропия, также известное как расхождение Кульбака – Лейблера, которое включает инвариантная мера фактор (см. предельная плотность дискретных точек ).

Максимизация в нормальном распределении

Теорема

С нормальное распределение, дифференциальная энтропия максимизируется для данной дисперсии. Гауссовская случайная величина имеет самую большую энтропию среди всех случайных величин с равной дисперсией, или, альтернативно, максимальное распределение энтропии при ограничениях среднего и дисперсии является гауссовым.^[2]:255

Доказательство

Позволять ${displaystyle g(x)}$ быть Гауссовский PDF со средним μ и дисперсией ${displaystyle sigma ^{2}}$ и ${displaystyle f(x)}$ произвольный PDF с такой же дисперсией. Поскольку дифференциальная энтропия инвариантна относительно сдвига, можно считать, что ${displaystyle f(x)}$ имеет то же среднее значение ${displaystyle mu }$ в качестве ${displaystyle g(x)}$.

Рассмотрим Дивергенция Кульбака – Лейблера между двумя дистрибутивами

${displaystyle 0leq D_{KL}(f||g)=int _{-infty }^{infty }f(x)log left({frac {f(x)}{g(x)}}ight)dx=-h(f)-int _{-infty }^{infty }f(x)log(g(x))dx.}$

Обратите внимание, что

${displaystyle {egin{aligned}int _{-infty }^{infty }f(x)log(g(x))dx&=int _{-infty }^{infty }f(x)log left({frac {1}{sqrt {2pi sigma ^{2}}}}e^{-{frac {(x-mu )^{2}}{2sigma ^{2}}}}ight)dx&=int _{-infty }^{infty }f(x)log {frac {1}{sqrt {2pi sigma ^{2}}}}dx+log(e)int _{-infty }^{infty }f(x)left(-{frac {(x-mu )^{2}}{2sigma ^{2}}}ight)dx&=-{ frac {1}{2}}log(2pi sigma ^{2})-log(e){frac {sigma ^{2}}{2sigma ^{2}}}&=-{ frac {1}{2}}left(log(2pi sigma ^{2})+log(e)ight)&=-{ frac {1}{2}}log(2pi esigma ^{2})&=-h(g)end{aligned}}}$

потому что результат не зависит от ${displaystyle f(x)}$ кроме как через дисперсию. Объединение двух результатов дает

${displaystyle h(g)-h(f)geq 0!}$

с равенством, когда ${displaystyle f(x)=g(x)}$ вытекающие из свойств расходимости Кульбака – Лейблера.

Альтернативное доказательство

Этот результат также можно продемонстрировать с помощью вариационное исчисление. Функция Лагранжа с двумя Лагранжевы множители можно определить как:

${displaystyle L=int _{-infty }^{infty }g(x)ln(g(x)),dx-lambda _{0}left(1-int _{-infty }^{infty }g(x),dxight)-lambda left(sigma ^{2}-int _{-infty }^{infty }g(x)(x-mu )^{2},dxight)}$

куда г (х) - некоторая функция со средним μ. Когда энтропия г (х) является максимальным, а уравнения связи, состоящие из условия нормировки ${displaystyle left(1=int _{-infty }^{infty }g(x),dxight)}$ и требование фиксированной дисперсии ${displaystyle left(sigma ^{2}=int _{-infty }^{infty }g(x)(x-mu )^{2},dxight)}$, оба выполняются, то небольшое изменение δграмм(Икс) о г (х) произведет вариацию δL о L который равен нулю:

${displaystyle 0=delta L=int _{-infty }^{infty }delta g(x)left(ln(g(x))+1+lambda _{0}+lambda (x-mu )^{2}ight),dx}$

Поскольку это должно выполняться для любого малого δграмм(Икс), член в скобках должен быть равен нулю, и решение для г (х) дает:

${displaystyle g(x)=e^{-lambda _{0}-1-lambda (x-mu )^{2}}}$

Используя уравнения связей для нахождения λ₀ а λ дает нормальное распределение:

${displaystyle g(x)={frac {1}{sqrt {2pi sigma ^{2}}}}e^{-{frac {(x-mu )^{2}}{2sigma ^{2}}}}}$

Пример: экспоненциальное распределение

Позволять ${displaystyle X}$ быть экспоненциально распределенный случайная величина с параметром ${displaystyle lambda }$, то есть с функцией плотности вероятности

${displaystyle f(x)=lambda e^{-lambda x}{mbox{ for }}xgeq 0.}$

Тогда его дифференциальная энтропия равна

${displaystyle h_{e}(X),}$	${displaystyle =-int _{0}^{infty }lambda e^{-lambda x}log(lambda e^{-lambda x}),dx}$
	${displaystyle =-left(int _{0}^{infty }(log lambda )lambda e^{-lambda x},dx+int _{0}^{infty }(-lambda x)lambda e^{-lambda x},dxight)}$
	${displaystyle =-log lambda int _{0}^{infty }f(x),dx+lambda E[X]}$
	${displaystyle =-log lambda +1,.}$

Здесь, ${displaystyle h_{e}(X)}$ был использован, а не ${displaystyle h(X)}$ чтобы было ясно, что логарифм взят за основу е, чтобы упростить расчет.

Связь с ошибкой оценщика

Дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценщик. Для любой случайной величины ${displaystyle X}$ и оценщик ${displaystyle {widehat {X}}}$ имеет место следующее:^[2]

${displaystyle operatorname {E} [(X-{widehat {X}})^{2}]geq {frac {1}{2pi e}}e^{2h(X)}}$

с равенством тогда и только тогда, когда ${displaystyle X}$ - гауссовская случайная величина и ${displaystyle {widehat {X}}}$ среднее значение ${displaystyle X}$.

Дифференциальные энтропии для различных распределений

В таблице ниже ${displaystyle Gamma (x)=int _{0}^{infty }e^{-t}t^{x-1}dt}$ это гамма-функция, ${displaystyle psi (x)={frac {d}{dx}}ln Gamma (x)={frac {Gamma '(x)}{Gamma (x)}}}$ это функция дигаммы, ${displaystyle B(p,q)={frac {Gamma (p)Gamma (q)}{Gamma (p+q)}}}$ это бета-функция, а γ_E является Постоянная Эйлера.^{[8]:219–230}

Таблица дифференциальных энтропий

Название дистрибутива	Функция плотности вероятности (pdf)	Энтропия в нац	Поддерживать
Униформа	${displaystyle f(x)={frac {1}{b-a}}}$	${displaystyle ln(b-a),}$	${displaystyle [a,b],}$
Нормальный	${displaystyle f(x)={frac {1}{sqrt {2pi sigma ^{2}}}}exp left(-{frac {(x-mu )^{2}}{2sigma ^{2}}}ight)}$	${displaystyle ln left(sigma {sqrt {2,pi ,e}}ight)}$	${displaystyle (-infty ,infty ),}$
Экспоненциальный	${displaystyle f(x)=lambda exp left(-lambda xight)}$	${displaystyle 1-ln lambda ,}$	${displaystyle [0,infty ),}$
Рэлей	${displaystyle f(x)={frac {x}{sigma ^{2}}}exp left(-{frac {x^{2}}{2sigma ^{2}}}ight)}$	${displaystyle 1+ln {frac {sigma }{sqrt {2}}}+{frac {gamma _{E}}{2}}}$	${displaystyle [0,infty ),}$
Бета	${displaystyle f(x)={frac {x^{alpha -1}(1-x)^{eta -1}}{B(alpha ,eta )}}}$ за ${displaystyle 0leq xleq 1}$	${displaystyle ln B(alpha ,eta )-(alpha -1)[psi (alpha )-psi (alpha +eta )],}$ ${displaystyle -(eta -1)[psi (eta )-psi (alpha +eta )],}$	${displaystyle [0,1],}$
Коши	${displaystyle f(x)={frac {gamma }{pi }}{frac {1}{gamma ^{2}+x^{2}}}}$	${displaystyle ln(4pi gamma ),}$	${displaystyle (-infty ,infty ),}$
Чи	${displaystyle f(x)={frac {2}{2^{k/2}Gamma (k/2)}}x^{k-1}exp left(-{frac {x^{2}}{2}}ight)}$	${displaystyle ln {frac {Gamma (k/2)}{sqrt {2}}}-{frac {k-1}{2}}psi left({frac {k}{2}}ight)+{frac {k}{2}}}$	${displaystyle [0,infty ),}$
Хи-квадрат	${displaystyle f(x)={frac {1}{2^{k/2}Gamma (k/2)}}x^{{frac {k}{2}}!-!1}exp left(-{frac {x}{2}}ight)}$	${displaystyle ln 2Gamma left({frac {k}{2}}ight)-left(1-{frac {k}{2}}ight)psi left({frac {k}{2}}ight)+{frac {k}{2}}}$	${displaystyle [0,infty ),}$
Erlang	${displaystyle f(x)={frac {lambda ^{k}}{(k-1)!}}x^{k-1}exp(-lambda x)}$	${displaystyle (1-k)psi (k)+ln {frac {Gamma (k)}{lambda }}+k}$	${displaystyle [0,infty ),}$
F	${displaystyle f(x)={frac {n_{1}^{frac {n_{1}}{2}}n_{2}^{frac {n_{2}}{2}}}{B({frac {n_{1}}{2}},{frac {n_{2}}{2}})}}{frac {x^{{frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{frac {n_{1}+n2}{2}}}}}$	${displaystyle ln {frac {n_{1}}{n_{2}}}Bleft({frac {n_{1}}{2}},{frac {n_{2}}{2}}ight)+left(1-{frac {n_{1}}{2}}ight)psi left({frac {n_{1}}{2}}ight)-}$ ${displaystyle left(1+{frac {n_{2}}{2}}ight)psi left({frac {n_{2}}{2}}ight)+{frac {n_{1}+n_{2}}{2}}psi left({frac {n_{1}!+!n_{2}}{2}}ight)}$	${displaystyle [0,infty ),}$
Гамма	${displaystyle f(x)={frac {x^{k-1}exp(-{frac {x}{ heta }})}{ heta ^{k}Gamma (k)}}}$	${displaystyle ln( heta Gamma (k))+(1-k)psi (k)+k,}$	${displaystyle [0,infty ),}$
Лаплас	${displaystyle f(x)={frac {1}{2b}}exp left(-{frac {|x-mu |}{b}}ight)}$	${displaystyle 1+ln(2b),}$	${displaystyle (-infty ,infty ),}$
Логистика	${displaystyle f(x)={frac {e^{-x}}{(1+e^{-x})^{2}}}}$	${displaystyle 2,}$	${displaystyle (-infty ,infty ),}$
Логнормальный	${displaystyle f(x)={frac {1}{sigma x{sqrt {2pi }}}}exp left(-{frac {(ln x-mu )^{2}}{2sigma ^{2}}}ight)}$	${displaystyle mu +{frac {1}{2}}ln(2pi esigma ^{2})}$	${displaystyle [0,infty ),}$
Максвелл – Больцманн	${displaystyle f(x)={frac {1}{a^{3}}}{sqrt {frac {2}{pi }}},x^{2}exp left(-{frac {x^{2}}{2a^{2}}}ight)}$	${displaystyle ln(a{sqrt {2pi }})+gamma _{E}-{frac {1}{2}}}$	${displaystyle [0,infty ),}$
Обобщенный нормальный	${displaystyle f(x)={frac {2eta ^{frac {alpha }{2}}}{Gamma ({frac {alpha }{2}})}}x^{alpha -1}exp(-eta x^{2})}$	${displaystyle ln {frac {Gamma (alpha /2)}{2eta ^{frac {1}{2}}}}-{frac {alpha -1}{2}}psi left({frac {alpha }{2}}ight)+{frac {alpha }{2}}}$	${displaystyle (-infty ,infty ),}$
Парето	${displaystyle f(x)={frac {alpha x_{m}^{alpha }}{x^{alpha +1}}}}$	${displaystyle ln {frac {x_{m}}{alpha }}+1+{frac {1}{alpha }}}$	${displaystyle [x_{m},infty ),}$
Студенческий т	${displaystyle f(x)={frac {(1+x^{2}/u )^{-{frac {u +1}{2}}}}{{sqrt {u }}B({frac {1}{2}},{frac {u }{2}})}}}$	${displaystyle {frac {u !+!1}{2}}left(psi left({frac {u !+!1}{2}}ight)!-!psi left({frac {u }{2}}ight)ight)!+!ln {sqrt {u }}Bleft({frac {1}{2}},{frac {u }{2}}ight)}$	${displaystyle (-infty ,infty ),}$
Треугольный	${displaystyle f(x)={egin{cases}{frac {2(x-a)}{(b-a)(c-a)}}&mathrm {for } aleq xleq c,[4pt]{frac {2(b-x)}{(b-a)(b-c)}}&mathrm {for } c<xleq b,[4pt]end{cases}}}$	${displaystyle {frac {1}{2}}+ln {frac {b-a}{2}}}$	${displaystyle [0,1],}$
Weibull	${displaystyle f(x)={frac {k}{lambda ^{k}}}x^{k-1}exp left(-{frac {x^{k}}{lambda ^{k}}}ight)}$	${displaystyle {frac {(k-1)gamma _{E}}{k}}+ln {frac {lambda }{k}}+1}$	${displaystyle [0,infty ),}$
Многомерный нормальный	${displaystyle f_{X}({vec {x}})=}$ ${displaystyle {frac {exp left(-{frac {1}{2}}({vec {x}}-{vec {mu }})^{ op }Sigma ^{-1}cdot ({vec {x}}-{vec {mu }})ight)}{(2pi )^{N/2}left|Sigma ight|^{1/2}}}}$	${displaystyle {frac {1}{2}}ln{(2pi e)^{N}det(Sigma )}}$	${displaystyle mathbb {R} ^{N}}$

Многие из дифференциальных энтропий происходят от.^{[9]:120–122}

Варианты

Как описано выше, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии. Например, дифференциальная энтропия может быть отрицательной; также он не инвариантен относительно непрерывных преобразований координат. Эдвин Томпсон Джейнс фактически показал, что приведенное выше выражение не является правильным пределом выражения для конечного набора вероятностей.^{[10]:181–218}

Модификация дифференциальной энтропии добавляет инвариантная мера фактор, чтобы исправить это, (см. предельная плотность дискретных точек ). Если ${displaystyle m(x)}$ далее ограничивается как плотность вероятности, результирующее понятие называется относительная энтропия в теории информации:

${displaystyle D(p||m)=int p(x)log {frac {p(x)}{m(x)}},dx.}$

Приведенное выше определение дифференциальной энтропии может быть получено путем разделения диапазона значений ${displaystyle X}$ в ячейки длины ${displaystyle h}$ с соответствующими точками отбора проб ${displaystyle ih}$ в ящиках для ${displaystyle X}$ Риман интегрируемый. Это дает квантованный версия ${displaystyle X}$, определяется ${displaystyle X_{h}=ih}$ если ${displaystyle ihleq Xleq (i+1)h}$. Тогда энтропия ${displaystyle X_{h}=ih}$ является^[2]

${displaystyle H_{h}=-sum _{i}hf(ih)log(f(ih))-sum hf(ih)log(h).}$

Первый член справа аппроксимирует дифференциальную энтропию, а второй член приблизительно ${displaystyle -log(h)}$. Обратите внимание, что эта процедура предполагает, что энтропия в дискретном смысле непрерывная случайная величина должно быть ${displaystyle infty }$.

Смотрите также

• Информационная энтропия
• Самоинформация
• Оценка энтропии

Рекомендации

1. Джейнс, Э. (1963). «Теория информации и статистическая механика» (PDF). Лекции по теоретической физике Летнего института Университета Брандейс. 3 (раздел 4b).
2. Обложка, Томас М .; Томас, Джой А. (1991). Элементы теории информации. Нью-Йорк: Вили. ISBN  0-471-06259-6.
3. Васичек, Олдрих (1976), "Тест на нормальность, основанный на выборочной энтропии", Журнал Королевского статистического общества, серия B, 38 (1), JSTOR  2984828.
4. Гиббс, Джозия Уиллард (1902). Элементарные принципы статистической механики, разработанные с особым упором на рациональную основу термодинамики. Нью-Йорк: Сыновья Чарльза Скрибнера.
5. Красков, Александр; Stögbauer, Grassberger (2004). «Оценка взаимной информации». Физический обзор E. 60: 066138. arXiv:cond-mat / 0305641. Bibcode:2004PhRvE..69f6138K. Дои:10.1103 / PhysRevE.69.066138.
6. Фазлолла М.Реза (1994) [1961]. Введение в теорию информации. Dover Publications, Inc., Нью-Йорк. ISBN  0-486-68210-2.
7. "доказательство верхней границы дифференциальной энтропии f (X)". Обмен стеком. 16 апреля 2016 г.
8. Park, Sung Y .; Бера, Анил К. (2009). «Модель условной гетероскедастичности авторегрессии с максимальной энтропией» (PDF). Журнал эконометрики. Эльзевир. Архивировано из оригинал (PDF) на 2016-03-07. Получено 2011-06-02.
9. Лазо, А. и П. Рати (1978). «Об энтропии непрерывных распределений вероятностей». IEEE Transactions по теории информации. 24 (1): 120–122. Дои:10.1109 / TIT.1978.1055832.
10. Джейнс, Э. (1963). «Теория информации и статистическая механика» (PDF). Лекции по теоретической физике Летнего института Университета Брандейс. 3 (раздел 4b).

внешняя ссылка

• «Дифференциальная энтропия», Энциклопедия математики, EMS Press, 2001 [1994]
• «Дифференциальная энтропия». PlanetMath.