Обобщенное распределение Парето - Generalized Pareto distribution

Эта статья посвящена особому семейству непрерывных распределений, называемому обобщенным распределением Парето. Об иерархии обобщенных распределений Парето см. Распределение Парето.

Обобщенное распределение Парето

Функция плотности вероятности Функции распределения GPD для ${\displaystyle \mu =0}$ и разные значения ${\displaystyle \sigma }$ и ${\displaystyle \xi }$
Кумулятивная функция распределения
Параметры	${\displaystyle \mu \in (-\infty ,\infty )\,}$ место расположения (настоящий ) ${\displaystyle \sigma \in (0,\infty )\,}$ масштаб (реальный) ${\displaystyle \xi \in (-\infty ,\infty )\,}$ форма (реальный)
Поддерживать	${\displaystyle x\geqslant \mu \,\;(\xi \geqslant 0)}$ ${\displaystyle \mu \leqslant x\leqslant \mu -\sigma /\xi \,\;(\xi <0)}$
PDF	${\displaystyle {\frac {1}{\sigma }}(1+\xi z)^{-(1/\xi +1)}}$ где ${\displaystyle z={\frac {x-\mu }{\sigma }}}$
CDF	${\displaystyle 1-(1+\xi z)^{-1/\xi }\,}$
Иметь в виду	${\displaystyle \mu +{\frac {\sigma }{1-\xi }}\,\;(\xi <1)}$
Медиана	${\displaystyle \mu +{\frac {\sigma (2^{\xi }-1)}{\xi }}}$
Режим
Дисперсия	${\displaystyle {\frac {\sigma ^{2}}{(1-\xi )^{2}(1-2\xi )}}\,\;(\xi <1/2)}$
Асимметрия	${\displaystyle {\frac {2(1+\xi ){\sqrt {1-2\xi }}}{(1-3\xi )}}\,\;(\xi <1/3)}$
Ex. эксцесс	${\displaystyle {\frac {3(1-2\xi )(2\xi ^{2}+\xi +3)}{(1-3\xi )(1-4\xi )}}-3\,\;(\xi <1/4)}$
Энтропия	${\displaystyle \log(\sigma )+\xi +1}$
MGF	${\displaystyle e^{\theta \mu }\,\sum _{j=0}^{\infty }\left[{\frac {(\theta \sigma )^{j}}{\prod _{k=0}^{j}(1-k\xi )}}\right],\;(k\xi <1)}$
CF	${\displaystyle e^{it\mu }\,\sum _{j=0}^{\infty }\left[{\frac {(it\sigma )^{j}}{\prod _{k=0}^{j}(1-k\xi )}}\right],\;(k\xi <1)}$
Метод моментов	${\displaystyle \xi ={\frac {1}{2}}\left(1-{\frac {(E[X]-\mu )^{2}}{V[X]}}\right)}$ ${\displaystyle \sigma =(E[X]-\mu )(1-\xi )}$

В статистика, то обобщенное распределение Парето (GPD) - это семейство непрерывных распределения вероятностей. Его часто используют для моделирования хвостов другого распределения. Его определяют три параметра: местоположение ${\displaystyle \mu }$, масштаб ${\displaystyle \sigma }$, и форма ${\displaystyle \xi }$.^[1][2] Иногда это определяется только масштабом и формой^[3] а иногда только по параметру формы. В некоторых ссылках параметр формы указывается как ${\displaystyle \kappa =-\xi \,}$.^[4]

Определение

Стандартная кумулятивная функция распределения (cdf) GPD определяется как^[5]

${\displaystyle F_{\xi }(z)={\begin{cases}1-\left(1+\xi z\right)^{-1/\xi }&{\text{for }}\xi \neq 0,\\1-e^{-z}&{\text{for }}\xi =0.\end{cases}}}$

где поддержка ${\displaystyle z\geq 0}$ за ${\displaystyle \xi \geq 0}$ и ${\displaystyle 0\leq z\leq -1/\xi }$ за ${\displaystyle \xi <0}$. Соответствующая функция плотности вероятности (PDF) есть

${\displaystyle f_{\xi }(z)={\begin{cases}(1+\xi z)^{-{\frac {\xi +1}{\xi }}}&{\text{for }}\xi \neq 0,\\e^{-z}&{\text{for }}\xi =0.\end{cases}}}$

Характеристика

Связанное семейство распределений в масштабе местоположения получается заменой аргумента z к ${\displaystyle {\frac {x-\mu }{\sigma }}}$ и соответствующим образом отрегулировать опору.

В кумулятивная функция распределения из ${\displaystyle X\sim GPD(\mu ,\sigma ,\xi )}$ (${\displaystyle \mu \in \mathbb {R} }$, ${\displaystyle \sigma >0}$, и ${\displaystyle \xi \in \mathbb {R} }$) является

${\displaystyle F_{(\mu ,\sigma ,\xi )}(x)={\begin{cases}1-\left(1+{\frac {\xi (x-\mu )}{\sigma }}\right)^{-1/\xi }&{\text{for }}\xi \neq 0,\\1-\exp \left(-{\frac {x-\mu }{\sigma }}\right)&{\text{for }}\xi =0,\end{cases}}}$

где поддержка ${\displaystyle X}$ является ${\displaystyle x\geqslant \mu }$ когда ${\displaystyle \xi \geqslant 0\,}$, и ${\displaystyle \mu \leqslant x\leqslant \mu -\sigma /\xi }$ когда ${\displaystyle \xi <0}$.

В функция плотности вероятности (pdf) из ${\displaystyle X\sim GPD(\mu ,\sigma ,\xi )}$ является

${\displaystyle f_{(\mu ,\sigma ,\xi )}(x)={\frac {1}{\sigma }}\left(1+{\frac {\xi (x-\mu )}{\sigma }}\right)^{\left(-{\frac {1}{\xi }}-1\right)}}$,

опять же, для ${\displaystyle x\geqslant \mu }$ когда ${\displaystyle \xi \geqslant 0}$, и ${\displaystyle \mu \leqslant x\leqslant \mu -\sigma /\xi }$ когда ${\displaystyle \xi <0}$.

PDF-файл является решением следующих дифференциальное уравнение:^{[нужна цитата ]}

${\displaystyle \left\{{\begin{array}{l}f'(x)(-\mu \xi +\sigma +\xi x)+(\xi +1)f(x)=0,\\f(0)={\frac {\left(1-{\frac {\mu \xi }{\sigma }}\right)^{-{\frac {1}{\xi }}-1}}{\sigma }}\end{array}}\right\}}$

Особые случаи

• Если форма ${\displaystyle \xi }$ и расположение ${\displaystyle \mu }$ оба равны нулю, GPD эквивалентно экспоненциальное распределение.
• С формой ${\displaystyle \xi >0}$ и расположение ${\displaystyle \mu =\sigma /\xi }$, GPD эквивалентен Распределение Парето со шкалой ${\displaystyle x_{m}=\sigma /\xi }$ и форма ${\displaystyle \alpha =1/\xi }$.
• Если ${\displaystyle X}$ ${\displaystyle \sim }$ ${\displaystyle GPD}$ ${\displaystyle (}$${\displaystyle \mu =0}$, ${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )}$, тогда ${\displaystyle Y=\log(X)\sim exGPD(\sigma ,\xi )}$ [1]. (exGPD означает экспоненциальное обобщенное распределение Парето.)
• GPD похож на Распределение заусенцев.

Генерация обобщенных случайных величин Парето

Генерация случайных величин GPD

Если U является равномерно распределены на (0, 1], то

${\displaystyle X=\mu +{\frac {\sigma (U^{-\xi }-1)}{\xi }}\sim GPD(\mu ,\sigma ,\xi \neq 0)}$

и

${\displaystyle X=\mu -\sigma \ln(U)\sim GPD(\mu ,\sigma ,\xi =0).}$

Обе формулы получаются путем обращения cdf.

В Matlab Statistics Toolbox вы можете легко использовать команду «gprnd» для генерации обобщенных случайных чисел Парето.

GPD как смесь экспоненциально-гамма

Случайная величина GPD также может быть выражена как экспоненциальная случайная величина с параметром распределенной скорости гамма.

${\displaystyle X|\Lambda \sim Exp(\Lambda )}$

и

${\displaystyle \Lambda \sim Gamma(\alpha ,\beta )}$

тогда

${\displaystyle X\sim GPD(\xi =1/\alpha ,\ \sigma =\beta /\alpha )}$

Однако обратите внимание, что, поскольку параметры для гамма-распределения должны быть больше нуля, мы получаем дополнительные ограничения, которые:${\displaystyle \xi }$ должен быть положительным.

Экспоненциальное обобщенное распределение Парето

Возведенное в степень обобщенное распределение Парето (exGPD)

PDF-файл ${\displaystyle exGPD(\sigma ,\xi )}$ (экспоненциальное обобщенное распределение Парето) для разных значений ${\displaystyle \sigma }$ и ${\displaystyle \xi }$.

Если ${\displaystyle X\sim GPD}$ ${\displaystyle (}$${\displaystyle \mu =0}$, ${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )}$, тогда ${\displaystyle Y=\log(X)}$ распределяется согласно экспоненциальное обобщенное распределение Парето, обозначаемый ${\displaystyle Y}$ ${\displaystyle \sim }$ ${\displaystyle exGPD}$ ${\displaystyle (}$${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )}$.

В функция плотности вероятности (pdf) из ${\displaystyle Y}$ ${\displaystyle \sim }$ ${\displaystyle exGPD}$ ${\displaystyle (}$${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )\,\,(\sigma >0)}$ является

${\displaystyle g_{(\sigma ,\xi )}(y)={\begin{cases}{\frac {e^{y}}{\sigma }}{\bigg (}1+{\frac {\xi e^{y}}{\sigma }}{\bigg )}^{-1/\xi -1}\,\,\,\,{\text{for }}\xi \neq 0,\\{\frac {1}{\sigma }}e^{y-e^{y}/\sigma }\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0,\end{cases}}}$

где поддержка ${\displaystyle -\infty <y<\infty }$ за ${\displaystyle \xi \geq 0}$, и ${\displaystyle -\infty <y\leq \log(-\sigma /\xi )}$ за ${\displaystyle \xi <0}$.

Для всех ${\displaystyle \xi }$, то ${\displaystyle \log \sigma }$ становится параметром местоположения. См. Правую панель для PDF, когда фигура ${\displaystyle \xi }$ положительный.

В exGPD имеет конечные моменты всех порядков для всех ${\displaystyle \sigma >0}$ и ${\displaystyle -\infty <\xi <\infty }$.

В отклонение из ${\displaystyle exGPD(\sigma ,\xi )}$ как функция ${\displaystyle \xi }$. Обратите внимание, что разница зависит только от ${\displaystyle \xi }$. Красная пунктирная линия представляет дисперсию, оцененную при ${\displaystyle \xi =0}$, это, ${\displaystyle \psi ^{'}(1)=\pi ^{2}/6}$.

В момент-производящая функция из ${\displaystyle Y\sim exGPD(\sigma ,\xi )}$ является

${\displaystyle M_{Y}(s)=E[e^{sY}]={\begin{cases}-{\frac {1}{\xi }}{\bigg (}-{\frac {\sigma }{\xi }}{\bigg )}^{s}B(s+1,-1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,\infty ),\xi <0,\\{\frac {1}{\xi }}{\bigg (}{\frac {\sigma }{\xi }}{\bigg )}^{s}B(s+1,1/\xi -s)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,1/\xi ),\xi >0,\\\sigma ^{s}\Gamma (1+s)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,\infty ),\xi =0,\end{cases}}}$

где ${\displaystyle B(a,b)}$ и ${\displaystyle \Gamma (a)}$ обозначить бета-функция и гамма-функция соответственно.

В ожидаемое значение из ${\displaystyle Y}$ ${\displaystyle \sim }$ ${\displaystyle exGPD}$ ${\displaystyle (}$${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )}$ зависит от масштаба ${\displaystyle \sigma }$ и форма ${\displaystyle \xi }$ параметры, а ${\displaystyle \xi }$ участвует через функция дигаммы:

${\displaystyle E[Y]={\begin{cases}\log \ {\bigg (}-{\frac {\sigma }{\xi }}{\bigg )}+\psi (1)-\psi (-1/\xi +1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi <0,\\\log \ {\bigg (}{\frac {\sigma }{\xi }}{\bigg )}+\psi (1)-\psi (1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi >0,\\\log \sigma +\psi (1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0.\end{cases}}}$

Обратите внимание, что для фиксированного значения для ${\displaystyle \xi \in (-\infty ,\infty )}$, то ${\displaystyle \log \ \sigma }$ играет роль параметра местоположения при экспоненциальном обобщенном распределении Парето.

В отклонение из ${\displaystyle Y}$ ${\displaystyle \sim }$ ${\displaystyle exGPD}$ ${\displaystyle (}$${\displaystyle \sigma }$, ${\displaystyle \xi }$ ${\displaystyle )}$ зависит от параметра формы ${\displaystyle \xi }$ только через полигамма функция порядка 1 (также называемый функция тригаммы ):

${\displaystyle Var[Y]={\begin{cases}\psi ^{'}(1)-\psi ^{'}(-1/\xi +1)\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi <0,\\\psi ^{'}(1)+\psi ^{'}(1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi >0,\\\psi ^{'}(1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0.\end{cases}}}$

На правой панели показано отклонение как функцию ${\displaystyle \xi }$. Обратите внимание, что ${\displaystyle \psi ^{'}(1)=\pi ^{2}/6\approx 1.644934}$.

Обратите внимание, что роли параметра масштаба ${\displaystyle \sigma }$ и параметр формы ${\displaystyle \xi }$ под ${\displaystyle Y\sim exGPD(\sigma ,\xi )}$ раздельно интерпретируемы, что может привести к надежной и эффективной оценке ${\displaystyle \xi }$ чем использование ${\displaystyle X\sim GPD(\sigma ,\xi )}$ [2]. Роли двух параметров связаны друг с другом в ${\displaystyle X\sim GPD(\mu =0,\sigma ,\xi )}$ (по крайней мере, до второго центрального момента); увидеть формулу дисперсии ${\displaystyle Var(X)}$ при этом оба параметра участвуют.

Оценщик Хилла

Предположим, что ${\displaystyle X_{1:n}=(X_{1},\cdots ,X_{n})}$ находятся ${\displaystyle n}$ наблюдения (не обязательно i.i.d.) от неизвестного распределение с тяжелым хвостом ${\displaystyle F}$ так что его хвостовое распределение регулярно меняется с хвостовым индексом ${\displaystyle 1/\xi }$ (следовательно, соответствующий параметр формы равен ${\displaystyle \xi }$). Чтобы быть конкретным, распределение хвоста описывается как

${\displaystyle {\bar {F}}(x)=1-F(x)=L(x)\cdot x^{-1/\xi },\,\,\,\,\,{\text{for some }}\xi >0,\,\,{\text{where }}L{\text{ is a slowly varying function.}}}$

Это представляет особый интерес в теория экстремальных ценностей для оценки параметра формы ${\displaystyle \xi }$, особенно когда ${\displaystyle \xi }$ положительно (так называемое распределение с тяжелым хвостом).

Позволять ${\displaystyle F_{u}}$ - их функция распределения условного избытка. Теорема Пикандса – Балкемы – де Хаана. (Пикандс, 1975; Балкема и де Хаан, 1974) утверждает, что для большого класса основных функций распределения ${\displaystyle F}$, и большой ${\displaystyle u}$, ${\displaystyle F_{u}}$ хорошо аппроксимируется обобщенным распределением Парето (GPD), которое мотивировало методы Peak Over Threshold (POT) для оценки ${\displaystyle \xi }$: GPD играет ключевую роль в подходе POT.

Известным оценщиком, использующим методологию POT, является Оценщик Хилла. Техническая формулировка оценки Хилла выглядит следующим образом. За ${\displaystyle 1\leq i\leq n}$, записывать ${\displaystyle X_{(i)}}$ для ${\displaystyle i}$-е по величине значение ${\displaystyle X_{1},\cdots ,X_{n}}$. Тогда в этих обозначениях Оценщик Хилла (см. стр. 190 ссылки 5 Embrechts et al. [3] ) на основе ${\displaystyle k}$ статистика высшего порядка определяется как

${\displaystyle {\widehat {\xi }}_{k}^{\text{Hill}}={\widehat {\xi }}_{k}^{\text{Hill}}(X_{1:n})={\frac {1}{k-1}}\sum _{j=1}^{k-1}\log {\bigg (}{\frac {X_{(j)}}{X_{(k)}}}{\bigg )},\,\,\,\,\,\,\,\,{\text{for }}2\leq k\leq n.}$

На практике оценщик Хилла используется следующим образом. Сначала вычислите оценку ${\displaystyle {\widehat {\xi }}_{k}^{\text{Hill}}}$ на каждое целое число ${\displaystyle k\in \{2,\cdots ,n\}}$, а затем постройте упорядоченные пары ${\displaystyle \{(k,{\widehat {\xi }}_{k}^{\text{Hill}})\}_{k=2}^{n}}$. Затем выберите из набора оценок Хилла ${\displaystyle \{{\widehat {\xi }}_{k}^{\text{Hill}}\}_{k=2}^{n}}$ которые примерно постоянны относительно ${\displaystyle k}$: эти устойчивые значения рассматриваются как разумные оценки параметра формы ${\displaystyle \xi }$. Если ${\displaystyle X_{1},\cdots ,X_{n}}$ равны i.i.d., то оценка Хилла является последовательной оценкой для параметра формы ${\displaystyle \xi }$ [4].

Обратите внимание, что Оценщик холма ${\displaystyle {\widehat {\xi }}_{k}^{\text{Hill}}}$ использует логарифмическое преобразование для наблюдений ${\displaystyle X_{1:n}=(X_{1},\cdots ,X_{n})}$. (The Оценщик Пиканда ${\displaystyle {\widehat {\xi }}_{k}^{\text{Pickand}}}$ также использовали логарифмическое преобразование, но немного по-другому[5].)

Смотрите также

• Распределение заусенцев
• Распределение Парето
• Обобщенное распределение экстремальных значений
• Экспоненциальное обобщенное распределение Парето
• Теорема Пикандса – Балкемы – де Хаана.

Рекомендации

1. Коулз, Стюарт (2001-12-12). Введение в статистическое моделирование экстремальных значений. Springer. п. 75. ISBN  9781852334598.
2. Даргахи-Нубари, Г. Р. (1989). «Оценка хвоста: улучшенный метод». Математическая геология. 21 (8): 829–842. Дои:10.1007 / BF00894450. S2CID  122710961.
3. Хоскинг, Дж. Р. М .; Уоллис, Дж. Р. (1987). "Параметр и квантильная оценка для обобщенного распределения Парето". Технометрика. 29 (3): 339–349. Дои:10.2307/1269343. JSTOR  1269343.
4. Дэвисон, А. К. (1984-09-30). «Моделирование превышения высоких пороговых значений с помощью приложения». Ин де Оливейра, Дж. Тьяго (ред.). Статистические крайности и приложения. Kluwer. п. 462. ISBN  9789027718044.
5. Embrechts, Пол; Клюппельберг, Клаудиа; Микош, Томас (1997-01-01). Моделирование экстремальных событий для страхования и финансов. п. 162. ISBN  9783540609315.

дальнейшее чтение

• Пикандс, Джеймс (1975). «Статистический вывод с использованием статистики крайнего порядка». Анналы статистики. 3 с: 119–131. Дои:10.1214 / aos / 1176343003.
• Balkema, A .; Де Хаан, Лоренс (1974). «Остаточное время жизни в преклонном возрасте». Анналы вероятности. 2 (5): 792–804. Дои:10.1214 / aop / 1176996548.
• Ли, Сеюн; Ким, J.H.K. (2018). «Экспоненциальное обобщенное распределение Парето: свойства и приложения к теории экстремальных значений». Коммуникации в статистике - теория и методы. 0 (8): 1–25. arXiv:1708.01686. Дои:10.1080/03610926.2018.1441418. S2CID  88514574.
• Н. Л. Джонсон; С. Коц; Н. Балакришнан (1994). Непрерывные одномерные распределения Том 1, второе издание. Нью-Йорк: Вили. ISBN  978-0-471-58495-7. Глава 20, Раздел 12: Обобщенные распределения Парето.
• Барри С. Арнольд (2011). «Глава 7: Парето и обобщенные распределения Парето». В Duangkamon Chotikapanich (ред.). Моделирование распределений и кривых Лоренца. Нью-Йорк: Спрингер. ISBN  9780387727967.
• Arnold, B.C .; Лагуна, Л. (1977). Об обобщенных распределениях Парето с приложениями к данным о доходах. Эймс, Айова: Государственный университет Айовы, факультет экономики.

внешняя ссылка

• Mathworks: обобщенное распределение Парето