Теорема Гаусса – Маркова - Gauss–Markov theorem

Не путать с Процесс Гаусса – Маркова.

"СИНИЙ" перенаправляется сюда. Алгоритм управления очередью см. Синий (алгоритм управления очередью).

В статистика, то Теорема Гаусса – Маркова (или просто Теорема Гаусса для некоторых авторов)^[1] заявляет, что обыкновенный метод наименьших квадратов (OLS) оценка имеет самый низкий дисперсия выборки в пределах класс из линейный беспристрастный оценщики, если ошибки в модель линейной регрессии находятся некоррелированный, имеют равные отклонения и нулевое математическое ожидание.^[2] Ошибки не должны быть нормальный, и они не должны быть независимые и одинаково распределенные (только некоррелированный с нулевым средним и гомоскедастический с конечной дисперсией). От требования о том, чтобы оценка была несмещенной, нельзя отказаться, поскольку существуют смещенные оценки с более низкой дисперсией. См., Например, Оценка Джеймса – Стейна (что также снижает линейность), регресс гребня, или просто любой выродиться оценщик.

Теорема была названа в честь Карл Фридрих Гаусс и Андрей Марков, хотя работа Гаусса значительно предшествует Маркову.^[3] Но в то время как Гаусс получил результат в предположении независимости и нормальности, Марков привел предположения к указанной выше форме.^[4] Дальнейшее обобщение несферические ошибки был дан Александр Айткен.^[5]

утверждение

Предположим, что в матричных обозначениях

${\displaystyle {\underline {y}}=X{\underline {\beta }}+{\underline {\varepsilon }},\quad ({\underline {y}},{\underline {\varepsilon }}\in \mathbb {R} ^{n},{\underline {\beta }}\in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})}$

расширяется до,

${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n}$

где ${\displaystyle \beta _{j}}$ не случайны, но ООНнаблюдаемые параметры, ${\displaystyle X_{ij}}$ не являются случайными и наблюдаемыми (так называемые "объясняющие переменные"), ${\displaystyle \varepsilon _{i}}$ случайны, и поэтому ${\displaystyle y_{i}}$ случайны. Случайные величины ${\displaystyle \varepsilon _{i}}$ называются «помехой», «шумом» или просто «ошибкой» (будет противопоставлено «остаточному» позже в статье; см. ошибки и остатки в статистике ). Обратите внимание, что для включения константы в приведенную выше модель можно выбрать константу как переменную. ${\displaystyle \beta _{K+1}}$ с недавно введенным последним столбцом X, равным единице, т.е. ${\displaystyle X_{i(K+1)}=1}$ для всех ${\displaystyle i}$. Обратите внимание, что хотя ${\displaystyle y_{i},}$ в качестве образцов ответов наблюдаются следующие утверждения и аргументы, включая предположения, доказательства и другие, которые предполагаются в соответствии с Только условие знания ${\displaystyle X_{ij},}$но нет ${\displaystyle y_{i}.}$

В Гаусс – Марков предположения касаются набора случайных величин ошибок, ${\displaystyle \varepsilon _{i}}$:

• У них средний ноль: ${\displaystyle \operatorname {E} [\varepsilon _{i}]=0.}$
• Они есть гомоскедастический, то есть все имеют одинаковую конечную дисперсию: ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$ для всех ${\displaystyle i}$ и
• Определенные термины ошибки не коррелируют: ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

А линейная оценка из ${\displaystyle \beta _{j}}$ это линейная комбинация

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

в котором коэффициенты ${\displaystyle c_{ij}}$ не могут зависеть от лежащих в основе коэффициентов ${\displaystyle \beta _{j}}$, поскольку они не наблюдаемы, но могут зависеть от значений ${\displaystyle X_{ij}}$, поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого ${\displaystyle X_{ij}}$ обычно нелинейный; оценка линейна по каждому ${\displaystyle y_{i}}$ а значит, в каждом случайном ${\displaystyle \varepsilon ,}$ вот почему это "линейная регрессия.) Оценщик называется беспристрастный если и только если

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

независимо от значений ${\displaystyle X_{ij}}$. Теперь позвольте ${\displaystyle \sum \nolimits _{j=1}^{K}\lambda _{j}\beta _{j}}$ - некоторая линейная комбинация коэффициентов. Тогда среднеквадратичная ошибка соответствующей оценки

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

Другими словами, это математическое ожидание квадрата взвешенной суммы (по параметрам) различий между оценочными модулями и соответствующими параметрами, подлежащими оценке. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратичная ошибка совпадает с дисперсией линейной комбинации.) лучшая линейная несмещенная оценка (СИНИЙ) вектора ${\displaystyle \beta }$ параметров ${\displaystyle \beta _{j}}$ это один с наименьшей среднеквадратичной ошибкой для каждого вектора ${\displaystyle \lambda }$ параметров линейной комбинации. Это эквивалентно условию, что

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

является положительной полуопределенной матрицей для любой другой линейной несмещенной оценки ${\displaystyle {\widetilde {\beta }}}$.

В Оценщик методом наименьших квадратов (OLS) это функция

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}$

из ${\displaystyle y}$ и ${\displaystyle X}$ (где ${\displaystyle X'}$ обозначает транспонировать из ${\displaystyle X}$), что минимизирует сумма квадратов остатки (суммы неверного прогноза):

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

Теорема теперь утверждает, что МНК-оценка - СИНИЙ. Основная идея доказательства состоит в том, что оценка по методу наименьших квадратов некоррелирована с любой линейной несмещенной оценкой нуля, то есть с любой линейной комбинацией ${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$ коэффициенты которого не зависят от ненаблюдаемых ${\displaystyle \beta }$ но ожидаемое значение которого всегда равно нулю.

Замечание

Доказательство того, что OLS действительно МИНИМИЗИРУЕТ сумму квадратов остатков, может быть выполнено следующим образом с вычислением Матрица Гессе и показывая, что это положительно определенно.

Функция MSE, которую мы хотим минимизировать, это

${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$

для модели множественной регрессии с п переменные. Первая производная

${\displaystyle {\begin{aligned}{\frac {d}{d{\overrightarrow {\beta }}}}f&=-2X^{T}({\overrightarrow {y}}-X{\overrightarrow {\beta }})\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&={\overrightarrow {0}}_{p+1}\end{aligned}}}$

,где Икс матрица дизайна

${\displaystyle X={\begin{bmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\dots &x_{2p}\\&&\dots \\1&x_{n1}&\dots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geqslant p+1}$

В Матрица Гессе вторых производных

${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\dots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{T}X}$

Предполагая, что столбцы ${\displaystyle X}$ линейно независимы, так что ${\displaystyle X^{T}X}$ обратима, пусть ${\displaystyle X={\begin{bmatrix}{\overrightarrow {v_{1}}}&{\overrightarrow {v_{2}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}}$, тогда

${\displaystyle k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1}=0\iff k_{1}=\dots =k_{p+1}=0}$

Теперь позвольте ${\displaystyle {\overrightarrow {k}}=(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$ быть собственным вектором ${\displaystyle {\mathcal {H}}}$.

${\displaystyle {\overrightarrow {k}}\neq {\overrightarrow {0}}\implies (k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1})^{2}>0}$

С точки зрения умножения векторов это означает

${\displaystyle {\begin{bmatrix}k_{1}&\dots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}\\\vdots \\{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}={\overrightarrow {k}}^{T}{\mathcal {H}}{\overrightarrow {k}}=\lambda {\overrightarrow {k}}^{T}{\overrightarrow {k}}>0}$

где ${\displaystyle \lambda }$ - собственное значение, соответствующее ${\displaystyle {\overrightarrow {k}}}$. Более того,

${\displaystyle {\overrightarrow {k}}^{T}{\overrightarrow {k}}=\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$

Наконец, в качестве собственного вектора ${\displaystyle {\overrightarrow {k}}}$ было произвольно, это означает, что все собственные значения ${\displaystyle {\mathcal {H}}}$ положительные, поэтому ${\displaystyle {\mathcal {H}}}$ положительно определен. Таким образом,

${\displaystyle {\overrightarrow {\beta }}=(X^{T}X)^{-1}X^{T}Y}$

действительно местный минимум.

Доказательство

Позволять ${\displaystyle {\tilde {\beta }}=Cy}$ - еще одна линейная оценка ${\displaystyle \beta }$ с ${\displaystyle C=(X'X)^{-1}X'+D}$ где ${\displaystyle D}$ это ${\displaystyle K\times n}$ ненулевая матрица. Поскольку мы ограничиваем беспристрастный оценок, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Поэтому цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньше, чем дисперсия ${\displaystyle {\widehat {\beta }},}$ оценщик OLS. Рассчитываем:

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

Следовательно, поскольку ${\displaystyle \beta }$ является ООНнаблюдаемый, ${\displaystyle {\tilde {\beta }}}$ беспристрастен тогда и только тогда, когда ${\displaystyle DX=0}$. Потом:

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

поскольку DD ' - положительно полуопределенная матрица, ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$ превышает ${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$ положительно полуопределенной матрицей.

Замечания к доказательству

Как было сказано ранее, условие ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$ эквивалентно тому свойству, что лучшая линейная несмещенная оценка ${\displaystyle \ell ^{t}\beta }$ является ${\displaystyle \ell ^{t}{\widehat {\beta }}}$ (лучше всего в том смысле, что имеет минимальную дисперсию). Чтобы увидеть это, позвольте ${\displaystyle \ell ^{t}{\tilde {\beta }}}$ другая линейная несмещенная оценка ${\displaystyle \ell ^{t}\beta }$.

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{t}{\tilde {\beta }}\right)&=\ell ^{t}\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^{t}\ell \\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\\&\geqslant \operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}}$

Более того, равенство выполняется тогда и только тогда, когда ${\displaystyle D^{t}\ell =0}$. Мы рассчитываем

${\displaystyle {\begin{aligned}\ell ^{t}{\tilde {\beta }}&=\ell ^{t}\left(((X'X)^{-1}X'+D)Y\right)&&{\text{ from above}}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ell =0\end{aligned}}}$

Это доказывает, что равенство выполняется тогда и только тогда, когда ${\displaystyle \ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}}$ который дает уникальность оценки OLS как СИНИЙ.

Обобщенная оценка методом наименьших квадратов

В обобщенный метод наименьших квадратов (GLS), разработанная Aitken,^[5] расширяет теорему Гаусса – Маркова на случай, когда вектор ошибок имеет нескалярную ковариационную матрицу.^[6] Оценщик Эйткена также СИНИЙ.

Теорема Гаусса – Маркова, сформулированная в эконометрике

В большинстве методов лечения МНК регрессоры (интересующие параметры) в матрица дизайна ${\displaystyle \mathbf {X} }$ считаются фиксированными в повторяющихся выборках. Это предположение считается неприемлемым для преимущественно неэкспериментальной науки, такой как эконометрика.^[7] Вместо этого условия теоремы Гаусса – Маркова формулируются при условии ${\displaystyle \mathbf {X} }$.

Линейность

Предполагается, что зависимая переменная является линейной функцией переменных, указанных в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна быть линейная зависимость. Независимые переменные могут принимать нелинейную форму, если параметры линейны. Уравнение ${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$ квалифицируется как линейный, в то время как ${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$ можно преобразовать в линейный, заменив ${\displaystyle \beta _{1}^{2}}$ по другому параметру, скажем ${\displaystyle \gamma }$. Уравнение с параметром, зависящим от независимой переменной, не квалифицируется как линейное, например ${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$, где ${\displaystyle \beta _{1}(x)}$ является функцией ${\displaystyle x}$.

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, Функция Кобба-Дугласа - часто используется в экономике - нелинейный:

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

Но его можно выразить в линейной форме, взяв натуральный логарифм с обеих сторон:^[8]

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

Это предположение также касается вопросов спецификации: предполагается, что выбрана правильная функциональная форма и нет пропущенные переменные.

Однако следует знать, что параметры, которые минимизируют остатки преобразованного уравнения, не обязательно минимизируют остатки исходного уравнения.

Строгая экзогенность

Для всех ${\displaystyle n}$ наблюдений, математическое ожидание - обусловленное регрессорами - члена ошибки равно нулю:^[9]

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x_{1}} ,\dots ,\mathbf {x_{n}} ]=0.}$

где ${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\dots &x_{ik}\end{bmatrix}}^{\mathsf {T}}}$ - вектор данных регрессоров для я-е наблюдение, и, следовательно, ${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x_{1}^{\mathsf {T}}} &\mathbf {x_{2}^{\mathsf {T}}} &\dots &\mathbf {x_{n}^{\mathsf {T}}} \end{bmatrix}}^{\mathsf {T}}}$ матрица данных или матрица плана.

Геометрически это предположение означает, что ${\displaystyle \mathbf {x} _{i}}$ и ${\displaystyle \varepsilon _{i}}$ находятся ортогональный друг другу, так что их внутренний продукт (т.е. их поперечный момент) равен нулю.

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n}$

Это предположение нарушается, если объясняющие переменные являются стохастическими, например, когда они измерено с ошибкой, или эндогенный.^[10] Эндогенность может быть результатом одновременность, где причинно-следственная связь возникает как между зависимой, так и независимой переменной. Инструментальная переменная методы обычно используются для решения этой проблемы.

Полный ранг

Образец матрицы данных ${\displaystyle \mathbf {X} }$ должен иметь полную колонку классифицировать.

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

В противном случае ${\displaystyle \mathbf {X'X} }$ не обратима, и оценка МНК не может быть вычислена.

Нарушение этого предположения идеальная мультиколлинеарность, т.е. некоторые объясняющие переменные линейно зависимы. Один сценарий, в котором это произойдет, называется «ловушка фиктивной переменной», когда базовая фиктивная переменная не пропущена, что приводит к идеальной корреляции между фиктивными переменными и постоянным членом.^[11]

Может присутствовать мультиколлинеарность (если она не «идеальна»), что приводит к менее эффективной, но все же несмещенной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных.^[12] Мультиколлинеарность можно обнаружить по номер условия или коэффициент инфляции дисперсии, среди других тестов.

Сферические ошибки

В внешний продукт вектора ошибки должен быть сферическим.

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon ^{\mathsf {T}}}}\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\dots &0\\0&\sigma ^{2}&\dots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\dots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

Это означает, что член ошибки имеет равномерную дисперсию (гомоскедастичность ) и никакой серийной зависимости.^[13] Если это предположение нарушается, OLS остается беспристрастным, но неэффективным. Термин «сферические ошибки» будет описывать многомерное нормальное распределение: если ${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$ в многомерной нормальной плотности, то уравнение ${\displaystyle f(\varepsilon )=c}$ формула для мяч с центром в μ с радиусом σ в n-мерном пространстве.^[14]

Гетероскедастичность возникает, когда величина ошибки соотносится с независимой переменной. Например, при регрессии расходов на питание и доходов ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на еду одинаковую сумму, тогда как люди с высоким доходом могут тратить очень большую сумму или столько же, сколько тратят люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в практике измерения. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому член ошибки уменьшается с течением времени.

Это предположение нарушается, когда есть автокорреляция. Автокорреляция может быть визуализирована на графике данных, когда данное наблюдение с большей вероятностью находится выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция часто встречается в данных временных рядов, где ряд данных может испытывать «инерцию». Если зависимой переменной требуется время, чтобы полностью поглотить шок. Пространственная автокорреляция также может возникать в географических областях, которые могут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например неправильного выбора функциональной формы. В этих случаях исправление спецификации - один из возможных способов борьбы с автокорреляцией.

При наличии сферических ошибок обобщенная оценка методом наименьших квадратов может отображаться СИНИМ цветом.^[6]

Смотрите также

• Независимые и одинаково распределенные случайные величины
• Линейная регрессия
• Погрешность измерения

Другая объективная статистика

• Лучший линейный объективный прогноз (BLUP)
• Несмещенная оценка минимальной дисперсии (MVUE)

использованная литература

1. См. Главу 7 Johnson, R.A .; Wichern, D.W. (2002). Прикладной многомерный статистический анализ. 5. Зал Прентис.
2. Тейл, Анри (1971). «Лучшая линейная объективная оценка и прогноз». Принципы эконометрики. Нью-Йорк: Джон Вили и сыновья. стр.119 –124. ISBN  0-471-85845-5.
3. Плакетт, Р.Л. (1949). «Историческая справка о методе наименьших квадратов». Биометрика. 36 (3/4): 458–460. Дои:10.2307/2332682.
4. Дэвид, Ф. Н .; Нейман, Дж. (1938). «Расширение теоремы Маркова о наименьших квадратах». Мемуары статистических исследований. 2: 105–116. OCLC  4025782.
5. Эйткен, А. С. (1935). «О наименьших квадратах и ​​линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга. 55: 42–48. Дои:10.1017 / S0370164600014346.
6. Хуанг, Дэвид С. (1970). Регрессионные и эконометрические методы. Нью-Йорк: Джон Вили и сыновья. стр.127 –147. ISBN  0-471-41754-8.
7. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 13. ISBN  0-691-01018-8.
8. Уолтерс, А. А. (1970). Введение в эконометрику. Нью-Йорк: У. В. Нортон. п. 275. ISBN  0-393-09931-8.
9. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 7. ISBN  0-691-01018-8.
10. Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: Макгроу-Хилл. стр.267–291. ISBN  0-07-032679-7.
11. Вулдридж, Джеффри (2012). Вводная эконометрика (Пятое международное изд.). Юго-Западный. п.220. ISBN  978-1-111-53439-4.
12. Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: Макгроу-Хилл. стр.159–168. ISBN  0-07-032679-7.
13. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 10. ISBN  0-691-01018-8.
14. Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике. Академическая пресса. стр.330 –351. ISBN  0-12-576830-3.

дальнейшее чтение

• Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория. Оксфорд: Блэквелл. С. 17–36. ISBN  0-631-17837-6.
• Гольдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики. Кембридж: Издательство Гарвардского университета. стр.160 –169. ISBN  0-674-17544-1.
• Тейл, Анри (1971). «Наименьшие квадраты и стандартная линейная модель». Принципы эконометрики. Нью-Йорк: Джон Вили и сыновья. стр.101 –162. ISBN  0-471-85845-5.

внешняя ссылка

• Самые ранние известные варианты использования некоторых слов математики: G (краткая история и объяснение названия)
• Доказательство теоремы Гаусса-Маркова для множественной линейной регрессии (использует матричную алгебру)
• Доказательство теоремы Гаусса Маркова с использованием геометрии