Составное распределение вероятностей - Compound probability distribution

В вероятность и статистика, а сложное распределение вероятностей (также известный как распределение смеси или же заразное распространение) это распределение вероятностей это результат предположения, что случайная переменная распределяется согласно некоторому параметризованному распределению, причем (некоторые из) параметры этого распределения сами являются случайными величинами. параметр масштаба, полученную смесь также называют смесь накипи.

Составное распределение («безусловное распределение») является результатом маргинализация (интегрируя) по скрытый случайная величина (ы), представляющая параметр (ы) параметризованного распределения («условное распределение»).

Определение

А сложное распределение вероятностей - это распределение вероятностей, которое получается из предположения, что случайная величина ${\displaystyle X}$ распределяется согласно некоторому параметризованному распределению ${\displaystyle F}$ с неизвестным параметром ${\displaystyle \theta }$ который снова распространяется согласно некоторому другому распределению ${\displaystyle G}$. Полученное распределение ${\displaystyle H}$ называется распределением, полученным в результате сложения ${\displaystyle F}$ с ${\displaystyle G}$. Распределение параметра ${\displaystyle G}$ также называется распределение смешивания или же скрытое распространение. Технически безусловный распределение ${\displaystyle H}$ результаты из маргинализация над ${\displaystyle G}$, т.е. от интегрирования неизвестного параметра (ов) ${\displaystyle \theta }$. Его функция плотности вероятности дан кем-то:

${\displaystyle p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }}$

Та же самая формула применяется аналогично, если некоторые или все переменные являются векторами.

Из приведенной выше формулы видно, что составное распределение по существу является частным случаем предельное распределение: The совместное распределение из ${\displaystyle x}$ и ${\displaystyle \theta }$ дан кем-то ${\displaystyle p(x,\theta )=p(x|\theta )p(\theta )}$, а составной результат - его маргинальное распределение:${\displaystyle {\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }}$.Если домен ${\displaystyle \theta }$ дискретно, то распределение снова является частным случаем распределение смеси.

Характеристики

Составное распределение ${\displaystyle H}$ во многом напоминает оригинальный дистрибутив ${\displaystyle F}$ которые его породили, но обычно имеют больше отклонение, и часто тяжелые хвосты также. В поддерживать из ${\displaystyle H}$ это то же самое, что и поддержка ${\displaystyle F}$, и часто форма также в целом похожа. Параметры ${\displaystyle H}$ включать любые параметры ${\displaystyle G}$ или же ${\displaystyle F}$ которые не были изолированы.

Первые два составного дистрибутива моменты даны

${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}}$

и

${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}}$

(Закон полной дисперсии ).

Приложения

Тестирование

Распространение общих статистика тестов результат как составные распределения при их нулевой гипотезе, например, в T-тест Стьюдента (где результаты статистики теста как отношение нормальный и хи-квадрат случайная величина), или в F-тест (где тестовая статистика - это соотношение двух хи-квадрат случайные переменные).

Моделирование избыточной дисперсии

Составные распределения полезны для моделирования результатов, показывающих чрезмерная дисперсия, то есть большая вариативность, чем можно было бы ожидать в рамках определенной модели. Например, данные подсчета обычно моделируются с использованием распределение Пуассона, дисперсия которого равна его среднему значению. Распределение можно обобщить, допустив вариативность его параметр скорости, реализованный через гамма-распределение, что приводит к маргинальному отрицательное биномиальное распределение. Это распределение похоже по форме на распределение Пуассона, но допускает большие отклонения. Аналогично биномиальное распределение можно обобщить, чтобы учесть дополнительную изменчивость, добавив к нему бета-распространение для его параметра вероятности успеха, что приводит к бета-биномиальное распределение.

Байесовский вывод

Помимо повсеместных маргинальных распределений, которые можно рассматривать как частные случаи составных распределений, в Байесовский вывод, составные распределения возникают, когда в обозначениях выше F представляет собой распределение будущих наблюдений и грамм это апостериорное распределение параметров F, учитывая информацию в наборе наблюдаемых данных. Это дает апостериорное прогнозирующее распределение. Соответственно, для предварительное прогнозное распределение, F это распределение новой точки данных, пока грамм это предварительное распространение параметров.

Свертка

Свертка вероятностных распределений (для получения распределения вероятностей сумм случайных величин) также можно рассматривать как частный случай сложения; здесь распределение суммы по существу является результатом рассмотрения одного слагаемого как случайного параметр местоположения для другого слагаемого.^[1]

Вычисление

Составные распределения, полученные из экспоненциальная семья Распределения часто имеют замкнутую форму. Если аналитическое интегрирование невозможно, могут потребоваться численные методы.

Составные распределения относительно легко можно исследовать, используя Методы Монте-Карло, т.е. путем генерации случайных выборок. Часто легко сгенерировать случайные числа из распределений ${\displaystyle p(\theta )}$ а также ${\displaystyle p(x|\theta )}$ а затем использовать их для выполнения свернутая выборка Гиббса генерировать образцы из ${\displaystyle p(x)}$.

Составное распределение обычно также может быть в достаточной степени аппроксимировано распределение смеси с использованием конечного числа компонентов смеси, что позволяет получить приблизительную плотность, функцию распределения и т. д.^[1]

Оценка параметров (максимальная вероятность или же апостериорный максимум оценка) в рамках составной модели распределения иногда можно упростить, используя EM-алгоритм.^[2]

Примеры

• Смеси в масштабе Гаусса:^[3]
  • Составление нормальное распределение с отклонение распределяется согласно обратное гамма-распределение (или, что эквивалентно, с точность распространяется как гамма-распределение ) дает нестандартный Распределение Стьюдента.^[4] Это распределение имеет ту же симметричную форму, что и нормальное распределение с той же центральной точкой, но имеет большую дисперсию и тяжелые хвосты.
  • Составление Гауссово распределение с дисперсией, распределенной в соответствии с экспоненциальное распределение (или со стандартным отклонением в соответствии с Распределение Рэлея ) дает Распределение Лапласа.
  • Составление Гауссово распределение с дисперсией, распределенной в соответствии с экспоненциальное распределение чей параметр скорости сам распределяется согласно гамма-распределение дает Нормально-экспоненциально-гамма-распределение. (Это включает в себя две стадии сложения. Затем сама дисперсия определяется Распределение Lomax; Смотри ниже.)
  • Составление Гауссово распределение со стандартным отклонением, распределенным в соответствии с (стандарт) обратное равномерное распределение дает Распределение слэша.
• другие гауссовы смеси:
  • Составление Гауссово распределение с иметь в виду распределено согласно другому Гауссово распределение дает (снова) Гауссово распределение.
  • Составление Гауссово распределение с иметь в виду распределены согласно сдвинутому экспоненциальное распределение дает экспоненциально модифицированное гауссово распределение.

• Составление биномиальное распределение с вероятностью успеха, распределенной согласно бета-распространение дает бета-биномиальное распределение. Он имеет три параметра, параметр ${\displaystyle n}$ (количество выборок) из биномиального распределения и параметры формы ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ из бета-версии.^[5][6]
• Составление полиномиальное распределение с вектором вероятности, распределенным согласно Распределение Дирихле дает Дирихле-полиномиальное распределение.
• Составление распределение Пуассона с параметр скорости распределяется согласно гамма-распределение дает отрицательное биномиальное распределение.^[7][8]
• Составление экспоненциальное распределение с этими параметр скорости распределяется согласно гамма-распределение дает Распределение Lomax.^[9]
• Составление гамма-распределение с параметр обратного масштаба распределен согласно другому гамма-распределение дает трехпараметрический бета-простое распределение.^[10]
• Составление полунормальное распределение с этими параметр масштаба распределяется согласно Распределение Рэлея дает экспоненциальное распределение. Это сразу следует из Распределение Лапласа в результате как нормальный смесь накипи; см. выше. Здесь также можно поменять ролями условного и смешанного распределений; следовательно, сложение Распределение Рэлея с масштабным параметром, распределенным в соответствии с полунормальное распределение также дает экспоненциальное распределение.
• А Гамма (k = 2, θ) - распределенная случайная величина, чья параметр масштаба θ снова равномерно распределяется незначительно, дает экспоненциальное распределение.

Смотрите также

• Распределение смеси
• Маржинальное распределение
• Условное распространение, Совместное распространение
• Составное распределение Пуассона, Составной процесс Пуассона
• Свертка
• Чрезмерная дисперсия
• EM-алгоритм

Рекомендации

1. Röver, C .; Friede, T. (2017). «Дискретное приближение распределения смеси через ограниченную расходимость». Журнал вычислительной и графической статистики. 26 (1): 217–222. arXiv:1602.04060. Дои:10.1080/10618600.2016.1276840.
2. Гельман, А .; Carlin, J. B .; Stern, H .; Рубин, Д. Б. (1997). «9,5 Поиск маргинальных апостериорных мод с использованием электромагнитных и связанных алгоритмов". Байесовский анализ данных (1-е изд.). Бока-Ратон: Чепмен и Холл / CRC. п. 276.
3. Гнейтинг, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования. 59 (4): 375–384. Дои:10.1080/00949659708811867.
4. Настроение, А. М .; Graybill, F.A .; Бос, Д. К. (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: Макгроу-Хилл.
5. Johnson, N.L .; Kemp, A. W .; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Вили. п. 253.
6. Гельман, А .; Carlin, J. B .; Stern, H .; Dunson, D. B .; Vehtari, A .; Рубин, Д. Б. (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Чепмен и Холл / CRC.
7. Лоулесс, Дж. Ф. (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал. 15 (3): 209–225. Дои:10.2307/3314912. JSTOR  3314912.
8. Teich, M. C .; Диамент, П. (1989). «Умноженные стохастические представления для K распределений и их преобразования Пуассона». Журнал Оптического общества Америки A. 6 (1): 80–91. Bibcode:1989JOSAA ... 6 ... 80 т. CiteSeerX  10.1.1.64.596. Дои:10.1364 / JOSAA.6.000080.
9. Johnson, N.L .; Kotz, S .; Балакришнан, Н. (1994). «20 Распределения Парето". Непрерывные одномерные распределения. 1 (2-е изд.). Нью-Йорк: Вили. п. 573.
10. Дубей, С. Д. (1970). «Составное гамма-, бета- и F-распределения». Метрика. 16: 27–31. Дои:10.1007 / BF02613934.

дальнейшее чтение

• Линдси, Б. Г. (1995), Модели смесей: теория, геометрия и приложения, Серия региональных конференций NSF-CBMS по вероятности и статистике, 5, Хейворд, Калифорния, США: Институт математической статистики, стр. I – 163, ISBN  978-0-940600-32-4, JSTOR  4153184
• Зайдель, В. (2010), «Модели смесей», в Lovric, M. (ed.), Международная энциклопедия статистической науки, Heidelberg: Springer, стр. 827–829, Дои:10.1007/978-3-642-04898-2_368, ISBN  978-3-642-04898-2
• Настроение, А. М .; Graybill, F.A .; Бос, Д. К. (1974), "III.4.3. Заражающие дистрибутивы и усеченные дистрибутивы", Введение в теорию статистики (3-е изд.), Нью-Йорк: McGraw-Hill, ISBN  978-0-07-042864-5
• Johnson, N.L .; Kemp, A. W .; Коц, С. (2005), «8 Распределение смеси", Одномерные дискретные распределения, Нью-Йорк: Wiley, ISBN  978-0-471-27246-5