LogSumExp - LogSumExp

В LogSumExp (LSE) (также называемый RealSoftMax^[1] или многовариантный softplus) функция является гладкий максимум - а гладкий приближение к максимум функция, в основном используемая алгоритмами машинного обучения.^[2] Он определяется как логарифм суммы экспонент аргументов:

${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n})\right)}$

Характеристики

Домен функции LogSumExp: ${\displaystyle \mathbb {R} ^{n}}$, то реальное координатное пространство, а его диапазон ${\displaystyle \mathbb {R} }$, то реальная линия. Это приближение к максимальному ${\displaystyle \max _{i}x_{i}}$ со следующими оценками

${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (x_{1},\dots ,x_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$

Первое неравенство строгое, если ${\displaystyle n=1}$. Второе неравенство становится точным равенством, когда все аргументы равны. Доказательство: Пусть ${\displaystyle m=\max _{i}x_{i}}$. потом ${\displaystyle \exp(m)\leq \sum _{i=1}^{n}\exp(x_{i})\leq n\exp(m)}$. Применение логарифма к неравенству дает результат.

Кроме того, мы можем масштабировать функцию, чтобы сделать границы более жесткими. Рассмотрим функцию ${\displaystyle {\frac {1}{t}}\mathrm {LSE} (tx)}$. потом

${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}<{\frac {1}{t}}\mathrm {LSE} (tx)\leq \max {\{x_{1},\dots ,x_{n}\}}+{\frac {\log(n)}{t}}.}$

Доказательство: заменить каждый ${\displaystyle x_{i}}$ с ${\displaystyle tx_{i}}$ для некоторых ${\displaystyle t>0}$ в неравенствах выше, чтобы дать

${\displaystyle \max {\{tx_{1},\dots ,tx_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{tx_{1},\dots ,tx_{n}\}}+\log(n).}$

и с тех пор ${\displaystyle t>0}$

${\displaystyle t\max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq t\max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$

наконец, разделив на ${\displaystyle t}$ дает результат.

Функция LogSumExp является выпуклой и строго монотонно возрастает везде в своей области определения.^[3] (но не везде строго выпуклый^[4]).

Письмо ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}),}$ частные производные:

${\displaystyle {\frac {\partial }{\partial x_{i}}}{LSE(\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{j}\exp {x_{j}}}}.}$

Что означает градиент LogSumExp - это функция softmax

В выпуклый сопряженный LogSumExp - это отрицательная энтропия.

трюк log-sum-exp для вычислений в лог-области

Функция LSE часто встречается, когда обычные арифметические вычисления выполняются на логарифмическая шкала, как в логарифмическая вероятность.

Подобно тому, как операции умножения в линейном масштабе становятся простыми сложениями в логарифмическом масштабе, операция сложения в линейном масштабе становится LSE в логарифмическом масштабе.

Общей целью использования вычислений в лог-области является повышение точности и избежание проблем с переполнением и переполнением, когда очень маленькие или очень большие числа представлены напрямую (то есть в линейной области) с использованием чисел с плавающей точкой ограниченной точности.

К сожалению, использование LSE напрямую в этом случае может снова вызвать проблемы переполнения / потери значимости. Поэтому вместо этого следует использовать следующий эквивалент (особенно, когда точность приведенного выше приближения `` max '' недостаточна). Следовательно, многие математические библиотеки, такие как IT ++ предоставить подпрограмму LSE по умолчанию и использовать эту формулу внутри компании.

${\displaystyle LSE(x_{1},\dots ,x_{n})=x^{*}+\log \left(\exp(x_{1}-x^{*})+\cdots +\exp(x_{n}-x^{*})\right)}$

куда ${\displaystyle x^{*}=\max {\{x_{1},\dots ,x_{n}\}}}$

Строго выпуклая функция типа log-sum-exp

LSE является выпуклым, но не строго выпуклым. Мы можем определить строго выпуклую функцию типа log-sum-exp^[5] добавив дополнительный аргумент, равный нулю:

${\displaystyle LSE_{0}^{+}(x_{1},...,x_{n})=LSE(0,x_{1},...,x_{n})}$

Эта функция является собственным генератором Брегмана (строго выпуклой и дифференцируемой). Он встречается в машинном обучении, например, как кумулянт полиномиального / биномиального семейства.

В тропический анализ, это сумма в бревенчатое полукольцо.

Смотрите также

• Логарифмическое среднее
• Полукольцо журнала
• Гладкий максимум
• Функция Softmax

Рекомендации

1. Чжан, Астон; Липтон, Зак; Ли, Му; Смола, Алексей. «Погрузитесь в глубокое обучение, Глава 3 Упражнения». www.d2l.ai. Получено 27 июн 2020.
2. Нильсен, Франк; Солнце, Кэ (2016). «Гарантированные оценки расходимости Кульбака-Лейблера одномерных смесей с использованием кусочно-логарифмических неравенств». Энтропия. 18: 442. arXiv:1606.05850. Bibcode:2016Entrp..18..442N. Дои:10.3390 / e18120442.
3. Эль-Гауи, Лоран (2017). Модели оптимизации и приложения.
4. "выпуклый анализ - О строго выпуклости функции логарифма суммы - экспоненты - Обмен математическими стеками". stackexchange.com.
5. Нильсен, Франк; Хаджерес, Гаэтан (2018). "Информационная геометрия Монте-Карло: двойственно плоский случай". arXiv:1803.07225. Bibcode:2018arXiv180307225N.