Закон полной дисперсии - Law of total variance

В теория вероятности, то закон полной дисперсии^[1] или же формула разложения дисперсии или же формулы условной дисперсии или же закон повторной дисперсии также известен как Закон Евы,^[2] заявляет, что если Икс и Y находятся случайные переменные на том же вероятностное пространство, а отклонение из Y конечно, то

${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$

На языке, который, возможно, лучше известен статистикам, чем теоретикам вероятности, эти два термина являются «необъяснимым» и «объясненным» компонентами дисперсии соответственно (см. доля необъяснимой дисперсии, объяснил вариацию ). В актуарная наука, конкретно теория достоверности, первая составляющая называется математическим ожиданием дисперсии процесса (EVPV), а второй называется дисперсией гипотетических средних (VHM).^[3] Эти два компонента также являются источником термина «закон Евы» от инициалов EV VE, означающих «ожидание отклонения» и «отклонение ожидания».

Существует общая формула разложения дисперсии для c ≥ 2 компонента (см. Ниже).^[4] Например, с двумя условными случайными величинами:

${\displaystyle \operatorname {Var} [Y]=\operatorname {E} [\operatorname {Var} (Y\mid X_{1},X_{2})]+\operatorname {E} [\operatorname {Var} (\operatorname {E} [Y\mid X_{1},X_{2}]\mid X_{1})]+\operatorname {Var} (\operatorname {E} [Y\mid X_{1}]),}$

что следует из закона полной условной дисперсии:^[4]

${\displaystyle \operatorname {Var} (Y\mid X_{1})=\operatorname {E} \left[\operatorname {Var} (Y\mid X_{1},X_{2})\mid X_{1}\right]+\operatorname {Var} \left(\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1}\right).}$

Обратите внимание, что условное математическое ожидание E ( Y | Икс ) является случайной величиной сама по себе, значение которой зависит от значения Икс. Обратите внимание, что условное ожидаемое значение Y Учитывая мероприятие Икс = Икс является функцией Икс (именно здесь становится важным соблюдение общепринятых и строго чувствительных к регистру обозначений теории вероятностей!). Если мы напишем E (Y | Икс = Икс ) = грамм(Икс) то случайная величина E ( Y | Икс ) просто грамм(Икс). Подобные комментарии относятся к условная дисперсия.

Один особый случай (похожий на закон полного ожидания ) утверждает, что если ${\displaystyle A_{1},\ldots ,A_{n}}$ является разделом всего пространства результатов, т.е.эти события являются взаимоисключающими и исчерпывающими, то

${\displaystyle {\begin{aligned}\operatorname {Var} (X)={}&\sum _{i=1}^{n}\operatorname {Var} (X\mid A_{i})\Pr(A_{i})+\sum _{i=1}^{n}\operatorname {E} [X\mid A_{i}]^{2}(1-\Pr(A_{i}))\Pr(A_{i})\\[4pt]&{}-2\sum _{i=2}^{n}\sum _{j=1}^{i-1}\operatorname {E} [X\mid A_{i}]\Pr(A_{i})\operatorname {E} [X\mid A_{j}]\Pr(A_{j}).\end{aligned}}}$

В этой формуле первый компонент - это математическое ожидание условной дисперсии; две другие строки - это дисперсия условного ожидания.

Доказательство

Закон полной дисперсии можно доказать с помощью закон полного ожидания.^[5] Первый,

${\displaystyle \operatorname {Var} [Y]=\operatorname {E} [Y^{2}]-\operatorname {E} [Y]^{2}}$

из определения дисперсии. Опять же, исходя из определения дисперсии, мы имеем

${\displaystyle \operatorname {E} [Y^{2}]=\operatorname {E} \left[\operatorname {Var} [Y\mid X]+[\operatorname {E} [Y\mid X]]^{2}\right]}$

Теперь перепишем условный второй момент Y через его дисперсию и первый момент:

${\displaystyle \operatorname {E} [Y^{2}]-\operatorname {E} [Y]^{2}=\operatorname {E} \left[\operatorname {Var} [Y\mid X]+[\operatorname {E} [Y\mid X]]^{2}\right]-[\operatorname {E} [\operatorname {E} [Y\mid X]]]^{2}}$

Поскольку ожидание суммы - это сумма ожиданий, теперь можно перегруппировать условия:

${\displaystyle =\left(\operatorname {E} [\operatorname {Var} [Y\mid X]]\right)+\left(\operatorname {E} [\operatorname {E} [Y\mid X]^{2}]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}\right)}$

Наконец, мы признаем термины в скобках как дисперсию условного ожидания E [Y | Икс]:

${\displaystyle =\operatorname {E} [\operatorname {Var} [Y\mid X]]+\operatorname {Var} [\operatorname {E} [Y\mid X]]}$

Разложение общей дисперсии применимо к динамическим системам

Следующая формула показывает, как применить общую теоретико-мерную формулу разложения дисперсии. ^[4] стохастическим динамическим системам. Позволять Y(т) быть значением системной переменной в момент времени т. Предположим, у нас есть внутренние истории (естественные фильтрации ) ${\displaystyle H_{1t},H_{2t},\ldots ,H_{c-1,t}}$, каждый из которых соответствует истории (траектории) другого набора системных переменных. Коллекции не обязательно должны быть непересекающимися. Дисперсия Y(т) может быть разложен на все временат, в c ≥ 2 следующих компонента:

${\displaystyle {\begin{aligned}\operatorname {Var} [Y(t)]={}&\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])\\[4pt]&{}+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])\\[4pt]&{}+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\end{aligned}}}$

Разложение не уникально. Это зависит от порядка кондиционирования при последовательном разложении.

Квадрат корреляции и объясненная (или информационная) вариация

В случаях, когда (Y, Икс) таковы, что условное математическое ожидание является линейным; т.е. в случаях, когда

${\displaystyle \operatorname {E} (Y\mid X)=aX+b,}$

из билинейности ковариантности следует, что

${\displaystyle a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}}$

и

${\displaystyle b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)}$

а объясненный компонент дисперсии, деленный на общую дисперсию, - это просто квадрат корреляция между Y и Икс; т.е. в таких случаях

${\displaystyle {\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.}$

Один из примеров такой ситуации - когда (Икс, Y) имеют двумерное нормальное (гауссово) распределение.

В более общем смысле, когда условное ожидание E ( Y | Икс ) является нелинейной функциейИкс

${\displaystyle \iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},}$ ^[4]

который можно оценить как р в квадрате из нелинейной регрессии Y на Икс, используя данные, полученные из совместного распределения (Икс,Y). Когда E ( Y | Икс ) имеет гауссово распределение (и является обратимой функцией Икс), или же Y сам имеет (маргинальное) гауссово распределение, этот объясненный компонент вариации устанавливает нижнюю границу для взаимная информация:^[4]

${\displaystyle \operatorname {I} (Y;X)\geq \ln([1-\iota _{Y\mid X}]^{-1/2}).}$

Высшие моменты

Аналогичный закон для третьего центральный момент μ₃ говорит

${\displaystyle \mu _{3}(Y)=\operatorname {E} (\mu _{3}(Y\mid X))+\mu _{3}(\operatorname {E} (Y\mid X))+3\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).}$

Для высших кумулянты, есть обобщение. Видеть закон общей совокупности.

Смотрите также

• Закон полной ковариации, обобщение
• Закон распространения ошибок

Рекомендации

1. Нил А. Вайс, Курс вероятности, Аддисон – Уэсли, 2005 г., стр. 385–386.
2. Джозеф К. Блицштейн и Джессика Хванг: «Введение в вероятность»
3. Mahler, Howard C .; Дин, Кертис Гэри (2001). «Глава 8: Достоверность» (PDF). В Актуарное общество по несчастным случаям (ред.). Основы актуарной науки о несчастных случаях (4-е изд.). Актуарное общество по несчастным случаям. С. 525–526. ISBN  978-0-96247-622-8. Получено 25 июня, 2015.
4. Bowsher, C.G. и P.S. Суэйн, Выявление источников вариации и потока информации в биохимических сетях, PNAS 15 мая 2012 г. 109 (20) E1320-E1328.
5. Нил А. Вайс, Курс вероятности, Addison – Wesley, 2005, страницы 380–383.

• Блицштейн, Джо. «Стат 110, окончательный обзор (закон Евы)» (PDF). stat110.net. Гарвардский университет, Статистический факультет. Получено 9 июля 2014.
• Биллингсли, Патрик (1995). Вероятность и мера. Нью-Йорк, штат Нью-Йорк: John Wiley & Sons, Inc. ISBN  0-471-00710-2. (Проблема 34.10 (b))