Линейная модель - Linear model

Не путать с линейная модель инноваций.

В статистика, период, термин линейная модель используется по-разному в зависимости от контекста. Чаще всего это связано с моделями регрессии, и этот термин часто используется как синоним линейная регрессия модель. Однако этот термин также используется в анализ временных рядов с другим смыслом. В каждом случае обозначение «линейный» используется для обозначения подкласса моделей, для которых существенно снижается сложность связанных статистическая теория возможно.

Модели линейной регрессии

Основная статья: Линейная регрессия

Для случая регрессии статистическая модель как следует. Учитывая (случайную) выборку ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$ связь между наблюдениями ${\displaystyle Y_{i}}$ и независимые переменные ${\displaystyle X_{ij}}$ формулируется как

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

куда ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$ может быть нелинейный функции. В приведенном выше выражении количества ${\displaystyle \varepsilon _{i}}$ находятся случайные переменные представляющие ошибки в отношениях. «Линейная» часть обозначения относится к внешнему виду коэффициенты регрессии, ${\displaystyle \beta _{j}}$ линейным образом в указанном выше соотношении. В качестве альтернативы можно сказать, что прогнозируемые значения, соответствующие приведенной выше модели, а именно

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

являются линейными функциями ${\displaystyle \beta _{j}}$.

Учитывая, что оценка проводится на основе наименьших квадратов анализ, оценки неизвестных параметров ${\displaystyle \beta _{j}}$ определяются путем минимизации функции суммы квадратов

${\displaystyle S=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

Из этого легко понять, что «линейный» аспект модели означает следующее:

• минимизируемая функция является квадратичной функцией ${\displaystyle \beta _{j}}$ для которых минимизация является относительно простой задачей;
• производные функции являются линейными функциями ${\displaystyle \beta _{j}}$ упрощение поиска минимизирующих значений;
• минимизирующие значения ${\displaystyle \beta _{j}}$ являются линейными функциями наблюдений ${\displaystyle Y_{i}}$;
• минимизирующие значения ${\displaystyle \beta _{j}}$ являются линейными функциями случайных ошибок ${\displaystyle \varepsilon _{i}}$ что позволяет относительно легко определить статистические свойства оцененных значений ${\displaystyle \beta _{j}}$.

Модели временных рядов

Примером модели линейного временного ряда является модель авторегрессионного скользящего среднего. Здесь модель ценностей {${\displaystyle X_{t}}$} во временном ряду можно записать в виде

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

где снова количества ${\displaystyle \varepsilon _{i}}$ случайные величины, представляющие инновации которые представляют собой новые случайные эффекты, которые появляются в определенное время, но также влияют на значения ${\displaystyle X}$ в более позднее время. В этом случае использование термина «линейная модель» относится к структуре вышеуказанного отношения при представлении ${\displaystyle X_{t}}$ как линейная функция прошлых значений одного и того же временного ряда, а также текущих и прошлых значений инноваций.^[1] Этот конкретный аспект структуры означает, что относительно просто вывести отношения для среднего и ковариация свойства временного ряда. Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам ${\displaystyle \phi _{i}}$ и ${\displaystyle \theta _{i}}$, как это было бы в случае регрессионной модели, которая внешне похожа по структуре.

Другое использование в статистике

Есть и другие случаи, когда «нелинейная модель» используется для контраста с линейно структурированной моделью, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является уменьшение нелинейной размерности.

Смотрите также

• Общая линейная модель
• Обобщенная линейная модель
• Линейная функция предиктора
• Линейная система
• Линейная регрессия
• Статистическая модель

Рекомендации

1. Пристли, М. (1988) Нелинейный и нестационарный анализ временных рядов, Academic Press. ISBN  0-12-564911-8