Теорема Кохрана - Cochrans theorem

В статистика, Теорема Кохрана, разработанный Уильям Дж. Кокран,^[1] это теорема используется для обоснования результатов, относящихся к распределения вероятностей статистики, которая используется в дисперсионный анализ.^[2]

Заявление

Предполагать U₁, ..., U_N i.i.d. стандарт нормально распределенный случайные переменные, и существуют положительно полуопределенные матрицы ${\displaystyle B^{(1)},B^{(2)},\ldots ,B^{(k)}}$, с ${\displaystyle \sum _{i=1}^{k}B^{(i)}=I_{N}}$. Далее предположим, что ${\displaystyle r_{1}+\cdots +r_{k}=N}$, куда р_я это классифицировать из ${\displaystyle B^{(i)}}$. Если мы напишем

${\displaystyle Q_{i}=\sum _{j=1}^{N}\sum _{\ell =1}^{N}U_{j}B_{j,\ell }^{(i)}U_{\ell }}$

таким образом Q_я находятся квадратичные формы, тогда Теорема Кохрана заявляет, что Q_я находятся независимый, и каждый Q_я имеет распределение хи-квадрат с р_я степени свободы.^[1]

Менее формально это количество линейных комбинаций, включенных в сумму квадратов, определяющих Q_я, при условии, что эти линейные комбинации линейно независимы.

Доказательство

Сначала покажем, что матрицы B^(я) возможно одновременно диагонализованный и что их ненулевые собственные значения все равны +1. Затем мы используем векторный базис которые диагонализируют их, чтобы упростить их характеристическая функция и показать свою независимость и распространение.^[3]

Каждая из матриц B^(я) имеет классифицировать р_я и поэтому р_я ненулевой собственные значения. Для каждого я, сумма ${\displaystyle C^{(i)}\equiv \sum _{j\neq i}B^{(j)}}$ имеет самый высокий ранг ${\displaystyle \sum _{j\neq i}r_{j}=N-r_{i}}$. С ${\displaystyle B^{(i)}+C^{(i)}=I_{N\times N}}$, следует, что C^(я) имеет ровно звание N − р_я.

Следовательно B^(я) и C^(я) возможно одновременно диагонализованный. Это можно показать, сначала диагонализируя B^(я). В этой основе он имеет вид:

${\displaystyle {\begin{bmatrix}\lambda _{1}&0&0&\cdots &\cdots &&0\\0&\lambda _{2}&0&\cdots &\cdots &&0\\0&0&\ddots &&&&\vdots \\\vdots &\vdots &&\lambda _{r_{i}}&&\\\vdots &\vdots &&&0&\\0&\vdots &&&&\ddots \\0&0&\ldots &&&&0\end{bmatrix}}.}$

Таким образом, нижний ${\displaystyle (N-r_{i})}$ строки равны нулю. С ${\displaystyle C^{(i)}=I-B^{(i)}}$, следует, что эти строки в C^(я) в этой базе содержится правый блок, который является ${\displaystyle (N-r_{i})\times (N-r_{i})}$ единичная матрица с нулями в остальных строках. Но с тех пор C^(я) имеет звание N − р_я, в другом месте он должен быть равен нулю. Таким образом, диагональна и в этом базисе. Отсюда следует, что все ненулевые собственные значения обоих B^(я) и C^(я) +1. Более того, приведенный выше анализ можно повторить в диагональном базисе для ${\displaystyle C^{(1)}=B^{(2)}+\sum _{j>2}B^{(j)}}$. В этой основе ${\displaystyle C^{(1)}}$ это личность ${\displaystyle (N-r_{1})\times (N-r_{1})}$ векторное пространство, поэтому оба B⁽²⁾ и ${\displaystyle \sum _{j>2}B^{(j)}}$ одновременно диагонализируемы в этом векторном пространстве (а значит, и вместе с B⁽¹⁾). По итерации следует, что все B-s одновременно диагонализуемы.

Таким образом, существует ортогональная матрица ${\displaystyle S}$ такой, что для всех ${\displaystyle i}$, ${\displaystyle S^{\mathrm {T} }B^{(i)}S\equiv B^{(i)\prime }}$ диагональная, где любая запись ${\displaystyle B_{x,y}^{(i)\prime }}$ с индексами ${\displaystyle x=y}$, ${\displaystyle \sum _{j=1}^{i-1}r_{j}<x=y\leq \sum _{j=1}^{i}r_{j}}$, равно 1, а любая запись с другими индексами равна 0.

Позволять ${\displaystyle U_{i}^{\prime }}$ обозначают определенную линейную комбинацию всех ${\displaystyle U_{i}}$ после преобразования ${\displaystyle S}$. Обратите внимание, что ${\displaystyle \sum _{i=1}^{N}(U_{i}^{\prime })^{2}=\sum _{i=1}^{N}U_{i}^{2}}$ за счет сохранения длины ортогональная матрица S, что якобиан линейного преобразования - это матрица, связанная с самим линейным преобразованием, и что определитель ортогональной матрицы имеет модуль 1.

Характеристическая функция Q_я является:

${\displaystyle {\begin{aligned}\varphi _{i}(t)={}&(2\pi )^{-N/2}\int du_{1}\int du_{2}\cdots \int du_{N}e^{itQ_{i}}\cdot e^{-u_{1}^{2}/2}\cdot e^{-u_{2}^{2}/2}\cdots e^{-u_{N}^{2}/2}\\={}&(2\pi )^{-N/2}\left(\prod _{j=1}^{N}\int du_{j}\right)e^{itQ_{i}}\cdot e^{-\sum _{j=1}^{N}u_{j}^{2}/2}\\={}&(2\pi )^{-N/2}\left(\prod _{j=1}^{N}\int du_{j}^{\prime }\right)e^{it\cdot \sum _{m=r_{1}+\cdots +r_{i-1}+1}^{r_{1}+\cdots +r_{i}}(u_{m}^{\prime })^{2}}\cdot e^{-\sum _{j=1}^{N}{u_{j}^{\prime }}^{2}/2}\\={}&(2\pi )^{-N/2}\left(\int e^{u^{2}(it-{\frac {1}{2}})}du\right)^{r_{i}}\left(\int e^{-{\frac {u^{2}}{2}}}du\right)^{N-r_{i}}\\={}&(1-2it)^{-r_{i}/2}\end{aligned}}}$

Это преобразование Фурье из распределение хи-квадрат с р_я степени свободы. Следовательно, это распределение Q_я.

Более того, характеристическая функция совместного распределения всех Q_яs это:

${\displaystyle {\begin{aligned}\varphi (t_{1},t_{2},\ldots ,t_{k})&=(2\pi )^{-N/2}\left(\prod _{j=1}^{N}\int dU_{j}\right)e^{i\sum _{i=1}^{k}t_{i}\cdot Q_{i}}\cdot e^{-\sum _{j=1}^{N}U_{j}^{2}/2}\\&=(2\pi )^{-N/2}\left(\prod _{j=1}^{N}\int dU_{j}^{\prime }\right)e^{i\cdot \sum _{i=1}^{k}t_{i}\sum _{k=r_{1}+\cdots +r_{i-1}+1}^{r_{1}+\cdots +r_{i}}(U_{k}^{\prime })^{2}}\cdot e^{-\sum _{j=1}^{N}{U_{j}^{\prime }}^{2}/2}\\&=(2\pi )^{-N/2}\prod _{i=1}^{k}\left(\int e^{u^{2}(it_{i}-{\frac {1}{2}})}du\right)^{r_{i}}\\&=\prod _{i=1}^{k}(1-2it_{i})^{-r_{i}/2}=\prod _{i=1}^{k}\varphi _{i}(t_{i})\end{aligned}}}$

Из этого следует, что все Q_яs независимы.

Примеры

Среднее значение выборки и дисперсия выборки

Если Икс₁, ..., Икс_п независимые нормально распределенные случайные величины со средним μ и стандартное отклонение σ тогда

${\displaystyle U_{i}={\frac {X_{i}-\mu }{\sigma }}}$

является стандартный нормальный для каждого я. Обратите внимание, что общая Q равно сумме квадратов Us, как показано здесь:

${\displaystyle \sum _{i}Q_{i}=\sum _{ijk}U_{j}B_{jk}^{(i)}U_{k}=\sum _{jk}U_{j}U_{k}\sum _{i}B_{jk}^{(i)}=\sum _{jk}U_{j}U_{k}\delta _{jk}=\sum _{j}U_{j}^{2}}$

что вытекает из исходного предположения, что ${\displaystyle B_{1}+B_{2}\ldots =I}$.Поэтому вместо этого мы рассчитаем это количество и позже разделим его на Q_яс. Можно написать

${\displaystyle \sum _{i=1}^{n}U_{i}^{2}=\sum _{i=1}^{n}\left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}}$

(здесь ${\displaystyle {\overline {X}}}$ это выборочное среднее ). Чтобы увидеть эту идентичность, умножьте все на ${\displaystyle \sigma ^{2}}$ и обратите внимание, что

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}}+{\overline {X}}-\mu )^{2}}$

и развернуть, чтобы дать

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+\sum ({\overline {X}}-\mu )^{2}+2\sum (X_{i}-{\overline {X}})({\overline {X}}-\mu ).}$

Третий член равен нулю, потому что он равен константе, умноженной на

${\displaystyle \sum ({\overline {X}}-X_{i})=0,}$

а второй срок только что п идентичные термины сложены вместе. Таким образом

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+n({\overline {X}}-\mu )^{2},}$

и поэтому

${\displaystyle \sum \left({\frac {X_{i}-\mu }{\sigma }}\right)^{2}=\sum \left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}=\overbrace {\sum _{i}\left(U_{i}-{\frac {1}{n}}\sum _{j}{U_{j}}\right)^{2}} ^{Q_{1}}+\overbrace {{\frac {1}{n}}\left(\sum _{j}{U_{j}}\right)^{2}} ^{Q_{2}}=Q_{1}+Q_{2}.}$

Сейчас же ${\displaystyle B^{(2)}={\frac {J_{n}}{n}}}$ с ${\displaystyle J_{n}}$ то матрица единиц который имеет ранг 1. В свою очередь ${\displaystyle B^{(1)}=I_{n}-{\frac {J_{n}}{n}}}$ при условии ${\displaystyle I_{n}=B^{(1)}+B^{(2)}}$. Это выражение также можно получить, разложив ${\displaystyle Q_{1}}$ в матричной записи. Можно показать, что ранг ${\displaystyle B^{(1)}}$ является ${\displaystyle n-1}$ поскольку сложение всех его строк равно нулю. Таким образом, условия теоремы Кохрана выполнены.

Затем теорема Кохрана утверждает, что Q₁ и Q₂ независимы, с распределениями хи-квадрат с п - 1 и 1 степень свободы соответственно. Это показывает, что выборочное среднее и выборочная дисперсия независимы. Это также может быть показано Теорема Басу, а собственно это свойство характеризует нормальное распределение - ни для каких других распределений среднее значение выборки и дисперсия выборки не зависят.^[4]

Распределения

Результат для распределений символически записывается как

${\displaystyle \sum \left(X_{i}-{\overline {X}}\right)^{2}\sim \sigma ^{2}\chi _{n-1}^{2}.}$

${\displaystyle n({\overline {X}}-\mu )^{2}\sim \sigma ^{2}\chi _{1}^{2},}$

Обе эти случайные величины пропорциональны истинной, но неизвестной дисперсии. σ². Таким образом, их соотношение не зависит от σ² и потому, что они статистически независимы. Распределение их отношения дается формулой

${\displaystyle {\frac {n\left({\overline {X}}-\mu \right)^{2}}{{\frac {1}{n-1}}\sum \left(X_{i}-{\overline {X}}\right)^{2}}}\sim {\frac {\chi _{1}^{2}}{{\frac {1}{n-1}}\chi _{n-1}^{2}}}\sim F_{1,n-1}}$

куда F_1,п − 1 это F-распределение с 1 и п - 1 степень свободы (см. Также Распределение Стьюдента ). Последним шагом здесь является определение случайной величины, имеющей F-распределение.

Оценка дисперсии

Чтобы оценить дисперсию σ², иногда используется оценка максимальная вероятность оценка дисперсии нормального распределения

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum \left(X_{i}-{\overline {X}}\right)^{2}.}$

Теорема Кохрана показывает, что

${\displaystyle {\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}}$

а свойства распределения хи-квадрат показывают, что

${\displaystyle {\begin{aligned}E\left({\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\right)&=E\left(\chi _{n-1}^{2}\right)\\{\frac {n}{\sigma ^{2}}}E\left({\widehat {\sigma }}^{2}\right)&=(n-1)\\E\left({\widehat {\sigma }}^{2}\right)&={\frac {\sigma ^{2}(n-1)}{n}}\end{aligned}}}$

Альтернативная формулировка

Следующая версия часто встречается при рассмотрении линейной регрессии.^[5] Предположим, что ${\displaystyle Y\sim N_{n}(0,\sigma ^{2}I_{n})}$ это стандарт многомерный нормальный случайный вектор (здесь ${\displaystyle I_{n}}$ обозначает п-к-п единичная матрица ), и если ${\displaystyle A_{1},\ldots ,A_{k}}$ все п-к-п симметричные матрицы с ${\displaystyle \sum _{i=1}^{k}A_{i}=I_{n}}$. Затем при определении ${\displaystyle r_{i}=\operatorname {Rank} (A_{i})}$, любое из следующих условий влечет за собой два других:

• ${\displaystyle \sum _{i=1}^{k}r_{i}=n,}$
• ${\displaystyle Y^{T}A_{i}Y\sim \sigma ^{2}\chi _{r_{i}}^{2}}$ (Таким образом ${\displaystyle A_{i}}$ находятся положительно полуопределенный )
• ${\displaystyle Y^{T}A_{i}Y}$ не зависит от ${\displaystyle Y^{T}A_{j}Y}$ за ${\displaystyle i\neq j.}$

Смотрите также

• Теорема Крамера, при разложении нормального распределения
• Бесконечная делимость (вероятность)

Рекомендации

1. Кокран, В. Г. (Апрель 1934 г.). «Распределение квадратичных форм в нормальной системе с приложениями к анализу ковариации». Математические труды Кембриджского философского общества. 30 (2): 178–191. Дои:10.1017 / S0305004100016595.
2. Бапат, Р. Б. (2000). Линейная алгебра и линейные модели (Второе изд.). Springer. ISBN  978-0-387-98871-9.
3. Крейг А. Т. (1938) "О независимости некоторых оценок вариаций". Анналы математической статистики. 9. С. 48–55.
4. Гири, Р. (1936). «Распределение« коэффициента студента »для нестандартных выборок». Приложение к Журналу Королевского статистического общества. 3 (2): 178–184. Дои:10.2307/2983669. JFM  63.1090.03. JSTOR  2983669.
5. «Теорема Кохрана (краткое руководство)» (PDF).