Квадратичная форма (статистика) - Quadratic form (statistics)

В многомерная статистика, если ${displaystyle varepsilon }$ это вектор из ${displaystyle n}$ случайные переменные, и ${displaystyle Lambda }$ является ${displaystyle n}$-размерный симметричная матрица, то скаляр количество ${displaystyle varepsilon ^{T}Lambda varepsilon }$ известен как квадратичная форма в ${displaystyle varepsilon }$.

Ожидание

Можно показать, что^[1]

${displaystyle operatorname {E} left[varepsilon ^{T}Lambda varepsilon ight]=operatorname {tr} left[Lambda Sigma ight]+mu ^{T}Lambda mu }$

куда ${displaystyle mu }$ и ${displaystyle Sigma }$ являются ожидаемое значение и ковариационная матрица из ${displaystyle varepsilon }$соответственно, а tr обозначает след матрицы. Этот результат зависит только от наличия ${displaystyle mu }$ и ${displaystyle Sigma }$; особенно, нормальность из ${displaystyle varepsilon }$ является нет требуется.

Книга, посвященная квадратичным формам от случайных величин, принадлежит Матхаю и Провосту.^[2]

Доказательство

Поскольку квадратичная форма является скалярной величиной, ${displaystyle varepsilon ^{T}Lambda varepsilon =operatorname {tr} (varepsilon ^{T}Lambda varepsilon )}$.

Далее, по цикличности след оператор

${displaystyle operatorname {E} [operatorname {tr} (varepsilon ^{T}Lambda varepsilon )]=operatorname {E} [operatorname {tr} (Lambda varepsilon varepsilon ^{T})].}$

Поскольку оператор трассировки является линейная комбинация компонентов матрицы, поэтому из линейности оператора математического ожидания следует, что

${displaystyle operatorname {E} [operatorname {tr} (Lambda varepsilon varepsilon ^{T})]=operatorname {tr} (Lambda operatorname {E} (varepsilon varepsilon ^{T})).}$

Стандартное свойство дисперсии говорит нам, что это

${displaystyle operatorname {tr} (Lambda (Sigma +mu mu ^{T})).}$

Снова применяя циклическое свойство оператора трассировки, получаем

${displaystyle operatorname {tr} (Lambda Sigma )+operatorname {tr} (Lambda mu mu ^{T})=operatorname {tr} (Lambda Sigma )+operatorname {tr} (mu ^{T}Lambda mu )=operatorname {tr} (Lambda Sigma )+mu ^{T}Lambda mu .}$

Дисперсия в гауссовском случае

В общем случае дисперсия квадратичной формы сильно зависит от распределения ${displaystyle varepsilon }$. Однако если ${displaystyle varepsilon }$ делает следуя многомерному нормальному распределению, дисперсия квадратичной формы становится особенно управляемой. Предположим пока, что ${displaystyle Lambda }$ является симметричной матрицей. Потом,

${displaystyle operatorname {var} left[varepsilon ^{T}Lambda varepsilon ight]=2operatorname {tr} left[Lambda Sigma Lambda Sigma ight]+4mu ^{T}Lambda Sigma Lambda mu }$ ^[3].

Фактически, это можно обобщить, чтобы найти ковариация между двумя квадратичными формами на одном ${displaystyle varepsilon }$ (снова, ${displaystyle Lambda _{1}}$ и ${displaystyle Lambda _{2}}$ оба должны быть симметричными):

${displaystyle operatorname {cov} left[varepsilon ^{T}Lambda _{1}varepsilon ,varepsilon ^{T}Lambda _{2}varepsilon ight]=2operatorname {tr} left[Lambda _{1}Sigma Lambda _{2}Sigma ight]+4mu ^{T}Lambda _{1}Sigma Lambda _{2}mu }$.

Вычисление дисперсии в несимметричном случае

Некоторые тексты неверны^{[нужна цитата ]} заявить, что указанные выше результаты дисперсии или ковариации верны, не требуя ${displaystyle Lambda }$ быть симметричным. Случай для общего ${displaystyle Lambda }$ можно вывести, отметив, что

${displaystyle varepsilon ^{T}Lambda ^{T}varepsilon =varepsilon ^{T}Lambda varepsilon }$

так

${displaystyle varepsilon ^{T}{ ilde {Lambda }}varepsilon =varepsilon ^{T}left(Lambda +Lambda ^{T}ight)varepsilon /2}$

является квадратичная форма в симметричной матрице ${displaystyle { ilde {Lambda }}=left(Lambda +Lambda ^{T}ight)/2}$, поэтому выражения среднего и дисперсии совпадают, если ${displaystyle Lambda }$ заменяется на ${displaystyle { ilde {Lambda }}}$ в нем.

Примеры квадратичных форм

В обстановке, где есть набор наблюдений ${displaystyle y}$ и матрица операторов ${displaystyle H}$, то остаточная сумма квадратов можно записать в виде квадратичной формы от ${displaystyle y}$:

${displaystyle { extrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.}$

Для процедур, в которых матрица ${displaystyle H}$ является симметричный и идемпотент, а ошибки находятся Гауссовский с ковариационной матрицей ${displaystyle sigma ^{2}I}$, ${displaystyle { extrm {RSS}}/sigma ^{2}}$ имеет распределение хи-квадрат с ${displaystyle k}$ параметр степеней свободы и нецентральности ${displaystyle lambda }$, куда

${displaystyle k=operatorname {tr} left[(I-H)^{T}(I-H)ight]}$

${displaystyle lambda =mu ^{T}(I-H)^{T}(I-H)mu /2}$

можно найти, сопоставив первые два центральные моменты из нецентральный хи-квадрат случайную переменную в выражения, приведенные в первых двух разделах. Если ${displaystyle Hy}$ оценки ${displaystyle mu }$ без предвзятость, то нецентральность ${displaystyle lambda }$ равен нулю и ${displaystyle { extrm {RSS}}/sigma ^{2}}$ следует центральному распределению хи-квадрат.

Смотрите также

• Квадратичная форма
• Ковариационная матрица
• Матричное представление конических сечений

Рекомендации

1. Бейтс, Дуглас. «Квадратичные формы случайных величин» (PDF). STAT 849 лекции. Получено 21 августа, 2011.
2. Матхай, А. М. и провост, Серж Б. (1992). Квадратичные формы в случайных величинах. CRC Press. п. 424. ISBN  978-0824786915.
3. Rencher, Alvin C .; Шаалье, Г. Брюс. (2008). Линейные модели в статистике (2-е изд.). Хобокен, штат Нью-Джерси: Wiley-Interscience. ISBN  9780471754985. OCLC  212120778.