Авторегрессионная модель - Autoregressive model

В статистика, эконометрика и обработка сигналов, авторегрессия (AR) модель является представлением типа случайный процесс; как таковой, он используется для описания определенных нестационарных процессов в природа, экономика и т.д. Модель авторегрессии определяет, что выходная переменная зависит от линейно на собственные предыдущие ценности и на стохастический термин (плохо предсказуемый срок); таким образом, модель имеет форму стохастического разностное уравнение (или рекуррентное соотношение, которое не следует путать с дифференциальным уравнением). Вместе с модель скользящей средней (MA), это частный случай и ключевой компонент более общего авторегрессия – скользящее среднее (ARMA) и авторегрессионная интегрированная скользящая средняя (ARIMA) модели Временные ряды, которые имеют более сложную стохастическую структуру; это также частный случай векторная авторегрессионная модель (VAR), который состоит из системы более чем одного взаимосвязанного стохастического разностного уравнения для более чем одной развивающейся случайной величины.

В отличие от модель скользящей средней (MA), авторегрессионная модель не всегда стационарный поскольку он может содержать единичный корень.

Определение

Обозначение ${\displaystyle AR(p)}$ указывает на авторегрессионную модель порядка п. AR (п) модель определяется как

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

куда ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ являются параметры модели, ${\displaystyle c}$ константа, а ${\displaystyle \varepsilon _{t}}$ является белый шум. Это может быть эквивалентно записано с помощью оператор переключения передач B в качестве

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

так что, перемещая член суммирования влево и используя полиномиальная запись, у нас есть

${\displaystyle \phi [B]X_{t}=c+\varepsilon _{t}\,.}$

Таким образом, авторегрессионную модель можно рассматривать как результат всестороннегостолб бесконечный импульсный отклик фильтр, на входе которого используется белый шум.

Некоторые ограничения параметров необходимы, чтобы модель оставалась стационарный в широком смысле. Например, процессы в модели AR (1) с ${\displaystyle |\varphi _{1}|\geq 1}$ не являются стационарными. В более общем плане для AR (п) модель должна быть стационарной в широком смысле, корни многочлена ${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{p-i}}$ должен находиться за пределами единичный круг, т.е. каждый (комплексный) корень ${\displaystyle z_{i}}$ должен удовлетворить ${\displaystyle |z_{i}|>1}$ (см. страницы 88,90 ^[1]).

Межвременной эффект шоков

В процессе AR одноразовый шок влияет на значения развивающейся переменной бесконечно далеко в будущем. Например, рассмотрим модель AR (1) ${\displaystyle X_{t}=c+\varphi _{1}X_{t-1}+\varepsilon _{t}}$. Ненулевое значение для ${\displaystyle \varepsilon _{t}}$ в это время т= 1 влияет ${\displaystyle X_{1}}$ по сумме ${\displaystyle \varepsilon _{1}}$. Тогда по уравнению AR для ${\displaystyle X_{2}}$ с точки зрения ${\displaystyle X_{1}}$, это влияет ${\displaystyle X_{2}}$ по сумме ${\displaystyle \varphi _{1}\varepsilon _{1}}$. Тогда по уравнению AR для ${\displaystyle X_{3}}$ с точки зрения ${\displaystyle X_{2}}$, это влияет ${\displaystyle X_{3}}$ по сумме ${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$. Продолжение этого процесса показывает, что эффект ${\displaystyle \varepsilon _{1}}$ никогда не заканчивается, хотя, если процесс стационарный затем эффект уменьшается до нуля в пределе.

Потому что каждый шок влияет Икс ценности бесконечно далеко в будущее с момента их возникновения, любое данное значение Икс_т подвержен потрясениям, происходящим бесконечно далеко в прошлом. Это также можно увидеть, переписав авторегрессию

${\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}$

(где постоянный член был опущен, предполагая, что переменная была измерена как отклонение от своего среднего) как

${\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}$

Когда полиномиальное деление справа, полином в операторе обратного сдвига применяется к ${\displaystyle \varepsilon _{t}}$ имеет бесконечный порядок, то есть бесконечное количество запаздывающих значений ${\displaystyle \varepsilon _{t}}$ появляются в правой части уравнения.

Характеристический полином

В автокорреляционная функция AR (п) процесс можно выразить как^{[нужна цитата ]}

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}$

куда ${\displaystyle y_{k}}$ являются корнями многочлена

${\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}$

куда B это оператор переключения передач, куда ${\displaystyle \phi (\cdot )}$ - функция, определяющая авторегрессию, а где ${\displaystyle \varphi _{k}}$ - коэффициенты авторегрессии.

Автокорреляционная функция АР (п) процесс представляет собой сумму убывающих экспонент.

• Каждый действительный корень вносит свой вклад в автокорреляционную функцию, которая экспоненциально затухает.
• Точно так же каждая пара комплексно сопряженных корней вносит экспоненциально затухающие колебания.

Графики AR (п) процессы

AR (0); AR (1) с параметром AR 0.3; AR (1) с параметром AR 0.9; AR (2) с параметрами AR 0,3 и 0,3; и AR (2) с параметрами AR 0.9 и −0.8

Самый простой процесс AR - это AR (0), который не имеет зависимости между членами. Только термин ошибка / инновация / шум вносит вклад в результат процесса, поэтому на рисунке AR (0) соответствует белому шуму.

Для процесса AR (1) с положительным ${\displaystyle \varphi }$, только предыдущий член в процессе и шумовой член вносят вклад в результат. Если ${\displaystyle \varphi }$ близко к 0, то процесс все еще выглядит как белый шум, но поскольку ${\displaystyle \varphi }$ приближается к 1, выход получает больший вклад от предыдущего члена по сравнению с шумом. Это приводит к «сглаживанию» или интегрированию выхода, подобно фильтру нижних частот.

Для процесса AR (2) два предыдущих члена и шумовой член вносят вклад в результат. Если оба ${\displaystyle \varphi _{1}}$ и ${\displaystyle \varphi _{2}}$ положительны, выходной сигнал будет напоминать фильтр нижних частот, с уменьшением высокочастотной части шума. Если ${\displaystyle \varphi _{1}}$ положительно пока ${\displaystyle \varphi _{2}}$ отрицательна, то процесс способствует смене знака между терминами процесса. Выходной сигнал колеблется. Это можно сравнить с обнаружением края или изменением направления.

Пример: процесс AR (1)

Процесс AR (1) определяется следующим образом:

${\displaystyle X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,}$

куда ${\displaystyle \varepsilon _{t}}$ представляет собой процесс белого шума с нулевым средним и постоянной дисперсией ${\displaystyle \sigma _{\varepsilon }^{2}}$. (Примечание: нижний индекс на ${\displaystyle \varphi _{1}}$ был отброшен.) Процесс стационарный в широком смысле если ${\displaystyle |\varphi |<1}$ поскольку он получается как выходной сигнал стабильного фильтра, на входе которого используется белый шум. (Если ${\displaystyle \varphi =1}$ тогда дисперсия ${\displaystyle X_{t}}$ зависит от запаздывания t, так что дисперсия ряда расходится до бесконечности, когда t стремится к бесконечности, и, следовательно, не является стационарным в широком смысле). ${\displaystyle |\varphi |<1}$, значение ${\displaystyle \operatorname {E} (X_{t})}$ одинаков для всех значений т по самому определению стационарности в широком смысле. Если обозначить среднее значение ${\displaystyle \mu }$, следует из

${\displaystyle \operatorname {E} (X_{t})=\operatorname {E} (c)+\varphi \operatorname {E} (X_{t-1})+\operatorname {E} (\varepsilon _{t}),}$

который

${\displaystyle \mu =c+\varphi \mu +0,}$

и поэтому

${\displaystyle \mu ={\frac {c}{1-\varphi }}.}$

В частности, если ${\displaystyle c=0}$, то среднее значение равно 0.

В отклонение является

${\displaystyle {\textrm {var}}(X_{t})=\operatorname {E} (X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}},}$

куда ${\displaystyle \sigma _{\varepsilon }}$ стандартное отклонение ${\displaystyle \varepsilon _{t}}$. Это можно показать, отметив, что

${\displaystyle {\textrm {var}}(X_{t})=\varphi ^{2}{\textrm {var}}(X_{t-1})+\sigma _{\varepsilon }^{2},}$

а затем заметив, что указанная выше величина является устойчивой фиксированной точкой этого отношения.

В автоковариация дан кем-то

${\displaystyle B_{n}=\operatorname {E} (X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}.}$

Видно, что функция автоковариации затухает со временем спада (также называемым постоянная времени ) из ${\displaystyle \tau =-1/\ln(\varphi )}$ [чтобы увидеть это, напишите ${\displaystyle B_{n}=K\varphi ^{|n|}}$ куда ${\displaystyle K}$ не зависит от ${\displaystyle n}$. Тогда обратите внимание, что ${\displaystyle \varphi ^{|n|}=e^{|n|\ln \varphi }}$ и сопоставьте это с законом экспоненциального затухания ${\displaystyle e^{-n/\tau }}$].

В спектральная плотность функция - это преобразование Фурье автоковариационной функции. Дискретно это будет преобразование Фурье с дискретным временем:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).}$

Это выражение является периодическим из-за дискретного характера ${\displaystyle X_{j}}$, который проявляется в виде косинуса в знаменателе. Если предположить, что время выборки (${\displaystyle \Delta t=1}$) намного меньше времени затухания (${\displaystyle \tau }$), то мы можем использовать континуальное приближение к ${\displaystyle B_{n}}$:

${\displaystyle B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$

что дает Лоренцианский профиль для спектральной плотности:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

куда ${\displaystyle \gamma =1/\tau }$ угловая частота, связанная со временем затухания ${\displaystyle \tau }$.

Альтернативное выражение для ${\displaystyle X_{t}}$ можно получить, сначала подставив ${\displaystyle c+\varphi X_{t-2}+\varepsilon _{t-1}}$ за ${\displaystyle X_{t-1}}$ в определяющем уравнении. Продолжая этот процесс N раз дает

${\displaystyle X_{t}=c\sum _{k=0}^{N-1}\varphi ^{k}+\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.}$

За N приближение к бесконечности, ${\displaystyle \varphi ^{N}}$ приблизится к нулю и:

${\displaystyle X_{t}={\frac {c}{1-\varphi }}+\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.}$

Видно, что ${\displaystyle X_{t}}$ белый шум, свёрнутый с ${\displaystyle \varphi ^{k}}$ ядро плюс постоянное среднее. Если белый шум ${\displaystyle \varepsilon _{t}}$ это Гауссовский процесс тогда ${\displaystyle X_{t}}$ также является гауссовским процессом. В остальных случаях Центральная предельная теорема указывает, что ${\displaystyle X_{t}}$ будет приблизительно нормально распределиться, когда ${\displaystyle \varphi }$ близок к одному.

Явная форма среднего / разностного процесса AR (1)

Модель AR (1) представляет собой аналог дискретного времени непрерывной Процесс Орнштейна-Уленбека. Поэтому иногда полезно понимать свойства модели AR (1), приведенной в эквивалентной форме. В таком виде модель AR (1) с параметром процесса ${\displaystyle \theta }$ дан кем-то:

${\displaystyle X_{t+1}=X_{t}+(1-\theta )(\mu -X_{t})+\epsilon _{t+1}\,}$, куда ${\displaystyle |\theta |<1\,}$ и ${\displaystyle \mu }$ модельное среднее.

Поместив это в форму ${\displaystyle X_{t+1}=c+\phi X_{t}\ +\epsilon _{t+1},}$, а затем расширяя ряд для ${\displaystyle X_{t+n}}$, можно показать, что:

${\displaystyle \operatorname {E} (X_{t+n}|X_{t})=\mu \left[1-\theta ^{n}\right]+X_{t}\theta ^{n}}$, и

${\displaystyle \operatorname {Var} (X_{t+n}|X_{t})=\sigma ^{2}{\frac {1-\theta ^{2n}}{1-\theta ^{2}}}}$.

Выбор максимального лага

Основная статья: Функция частичной автокорреляции

Частичная автокорреляция процесса AR (p) равна нулю при запаздывании, не превышающем порядок p^{[требуется разъяснение ]} и обеспечивает хорошую модель корреляции между ${\displaystyle X_{1}}$и ${\displaystyle X_{p+1}}$, поэтому соответствующая максимальная задержка - это та, после которой все частичные автокорреляции равны нулю.

Расчет параметров AR

Есть много способов оценить коэффициенты, например обыкновенный метод наименьших квадратов процедура или метод моментов (через уравнения Юла – Уокера).

AR (п) модель задается уравнением

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

Он основан на параметрах ${\displaystyle \varphi _{i}}$ куда я = 1, ..., п. Между этими параметрами и ковариационной функцией процесса существует прямое соответствие, и это соответствие может быть инвертировано для определения параметров из автокорреляционной функции (которая сама получается из ковариаций). Это делается с помощью уравнений Юла – Уокера.

Уравнения Юла – Уокера

Уравнения Юла – Уокера, названные в честь Удный Йоль и Гилберт Уокер,^[2][3] представляют собой следующую систему уравнений.^[4]

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0},}$

куда м = 0, ..., п, уступая п + 1 уравнения. Здесь ${\displaystyle \gamma _{m}}$ автоковариационная функция X_т, ${\displaystyle \sigma _{\varepsilon }}$ - стандартное отклонение входного шумового процесса, и ${\displaystyle \delta _{m,0}}$ это Дельта-функция Кронекера.

Поскольку последняя часть отдельного уравнения отлична от нуля, только если м = 0, систему уравнений можно решить, представив уравнения для м > 0 в матричной форме, получая уравнение

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\dots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\dots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\dots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\dots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}$

который можно решить для всех ${\displaystyle \{\varphi _{m};m=1,2,\cdots ,p\}.}$ Оставшееся уравнение для м = 0 является

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2},}$

который однажды ${\displaystyle \{\varphi _{m};m=1,2,\cdots ,p\}}$ известны, могут быть решены за ${\displaystyle \sigma _{\varepsilon }^{2}.}$

Альтернативная формулировка в терминах автокорреляционная функция. Параметры AR определяются первыми p + 1 элементами ${\displaystyle \rho (\tau )}$ автокорреляционной функции. Затем полная автокорреляционная функция может быть получена путем рекурсивного вычисления^[5]

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}\varphi _{k}\rho (k-\tau )}$

Примеры для некоторых AR низкого порядка (п) процессы

• р = 1
  • ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}}$
  • Следовательно ${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}=\varphi _{1}}$
• р = 2
  • Уравнения Юла – Уокера для процесса AR (2) имеют вид

    ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}+\varphi _{2}\gamma _{-1}}$

    ${\displaystyle \gamma _{2}=\varphi _{1}\gamma _{1}+\varphi _{2}\gamma _{0}}$

    • Помни это ${\displaystyle \gamma _{-k}=\gamma _{k}}$
    • Использование первого уравнения дает ${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}={\frac {\varphi _{1}}{1-\varphi _{2}}}}$
    • Использование формулы рекурсии дает ${\displaystyle \rho _{2}=\gamma _{2}/\gamma _{0}={\frac {\varphi _{1}^{2}-\varphi _{2}^{2}+\varphi _{2}}{1-\varphi _{2}}}}$

Оценка параметров AR

Приведенные выше уравнения (уравнения Юла – Уокера) предоставляют несколько способов оценки параметров АР (п), заменив теоретические ковариации оценочными значениями.^[6] Некоторые из этих вариантов можно описать следующим образом:

• Оценка автоковариаций или автокорреляций. Здесь каждое из этих слагаемых оценивается отдельно с использованием общепринятых оценок. Есть разные способы сделать это, и выбор между ними влияет на свойства схемы оценки. Например, отрицательные оценки дисперсии могут быть произведены некоторыми вариантами.
• Формулировка как регрессия наименьших квадратов задача, в которой строится обычная задача прогнозирования методом наименьших квадратов, основанная на прогнозировании значений Икс_т на п предыдущие значения той же серии. Это можно рассматривать как схему прямого прогнозирования. В нормальные уравнения как видно, эта проблема соответствует аппроксимации матричной формы уравнений Юла – Уокера, в которой каждое проявление автоковариантности одного и того же запаздывания заменяется несколько иной оценкой.
• Формулировка как расширенная форма обычной задачи прогнозирования методом наименьших квадратов. Здесь два набора прогнозных уравнений объединены в единую схему оценки и единый набор нормальных уравнений. Один набор - это набор уравнений прямого прогнозирования, а другой - соответствующий набор уравнений обратного прогнозирования, относящийся к обратному представлению модели AR:

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}^{*}\,.}$

Здесь прогнозируемые значения Икс_т будет основываться на п будущие ценности той же серии.^{[требуется разъяснение ]} Такой способ оценки параметров AR принадлежит Бургу,^[7] и называется методом Бурга:^[8] Бург и более поздние авторы назвали эти конкретные оценки «оценками максимальной энтропии»,^[9] но доводы, лежащие в основе этого, относятся к использованию любого набора оцененных параметров AR. По сравнению со схемой оценивания, использующей только уравнения прямого прогнозирования, производятся разные оценки автоковариаций, и эти оценки имеют разные свойства устойчивости. Оценки Burg особенно связаны с спектральная оценка максимальной энтропии.^[10]

Другие возможные подходы к оценке включают: оценка максимального правдоподобия. Доступны два различных варианта максимального правдоподобия: в одном (в целом эквивалентном схеме наименьших квадратов прямого прогнозирования) рассматриваемая функция правдоподобия соответствует условному распределению более поздних значений в ряду с учетом начального п значения в серии; во втором случае рассматривается функция правдоподобия, соответствующая безусловному совместному распределению всех значений в наблюдаемом ряду. Существенные различия в результатах этих подходов могут иметь место, если наблюдаемые ряды короткие или если процесс близок к нестационарности.

Спектр

В спектральная плотность мощности (PSD) AR (п) процесс с дисперсией шума ${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$ является^[5]

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

AR (0)

Для белого шума (AR (0))

${\displaystyle S(f)=\sigma _{Z}^{2}.}$

AR (1)

Для AR (1)

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• Если ${\displaystyle \varphi _{1}>0}$ имеется единственный спектральный пик при f = 0, часто называемый красный шум. В качестве ${\displaystyle \varphi _{1}}$ становится ближе к 1, появляется большая мощность на низких частотах, т.е. большие временные задержки. Тогда это фильтр нижних частот, при применении к свету полного спектра все, кроме красного света, будет отфильтровано.
• Если ${\displaystyle \varphi _{1}<0}$ существует минимум при f = 0, часто называемый синий шум. Он также действует как фильтр высоких частот, все, кроме синего света, будет фильтроваться.

AR (2)

Процессы AR (2) можно разделить на три группы в зависимости от характеристик их корней:

${\displaystyle z_{1},z_{2}={\frac {1}{2}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)}$

• Когда ${\displaystyle \varphi _{1}^{2}+4\varphi _{2}<0}$, процесс имеет пару комплексно-сопряженных корней, создающих среднечастотный пик в:

${\displaystyle f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}(\varphi _{2}-1)}{4\varphi _{2}}}\right)}$

В противном случае у процесса есть настоящие корни, и:

• Когда ${\displaystyle \varphi _{1}>0}$ он действует как фильтр нижних частот на белом шуме со спектральным пиком на ${\displaystyle f=0}$
• Когда ${\displaystyle \varphi _{1}<0}$ он действует как фильтр верхних частот на белом шуме со спектральным пиком на ${\displaystyle f=1/2}$.

Процесс нестационарен, когда корни находятся за пределами единичной окружности. Процесс устойчив, когда корни находятся внутри единичной окружности, или, что эквивалентно, когда коэффициенты находятся в треугольнике. ${\displaystyle -1\leq \varphi _{2}\leq 1-|\varphi _{1}|}$.

Полная функция PSD может быть выражена в реальной форме как:

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

Реализации в статистических пакетах

• р, то статистика пакет включает ар функция.^[11]
• MATLAB Панель инструментов "Эконометрика" ^[12] и набор инструментов для идентификации системы ^[13] включает авторегрессионные модели ^[14]
• Matlab и Октава: the Набор инструментов TSA содержит несколько оценочных функций для одномерных, многомерный и адаптивные авторегрессионные модели.^[15]
• PyMC3: байесовская статистика и структура вероятностного программирования поддерживает режимы авторегрессии с п лаги.
• байесовский поддерживает вывод параметров и выбор модели для процесса AR-1 с изменяющимися во времени параметрами.^[16]
• Python: реализация в statsmodels.^[17]

Импульсивный ответ

В импульсивный ответ системы - это изменение развивающейся переменной в ответ на изменение значения шокового члена k периоды ранее, в зависимости от k. Поскольку модель AR является частным случаем модели векторной авторегрессии, вычисление импульсной характеристики в векторная авторегрессия # импульсная характеристика применяется здесь.

п-шаговое прогнозирование

После того, как параметры авторегрессии

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

были оценены, авторегрессия может использоваться для прогнозирования произвольного количества периодов в будущем. Первое использование т для ссылки на первый период, по которому еще нет данных; заменить известные предыдущие значения Икс_т-я за я =1, ..., п в уравнение авторегрессии при установке члена ошибки ${\displaystyle \varepsilon _{t}}$ равно нулю (потому что мы прогнозируем Икс_т равным его ожидаемому значению, а ожидаемое значение ненаблюдаемого члена ошибки равно нулю). Результатом уравнения авторегрессии является прогноз на первый ненаблюдаемый период. Далее используйте т сослаться на следующий период, за который еще нет данных; опять же для прогноза используется уравнение авторегрессии, с одним отличием: значение Икс один период, предшествующий прогнозируемому, неизвестен, поэтому вместо него используется его ожидаемое значение - прогнозируемое значение, полученное на предыдущем этапе прогнозирования. Затем для будущих периодов используется та же процедура, каждый раз используя еще одно прогнозируемое значение в правой части прогнозного уравнения до тех пор, пока п предсказания, все п правые значения - это предсказанные значения из предыдущих шагов.

Существует четыре источника неопределенности относительно прогнозов, полученных таким образом: (1) неопределенность относительно того, является ли авторегрессионная модель правильной моделью; (2) неопределенность относительно точности прогнозируемых значений, которые используются в качестве запаздывающих значений в правой части уравнения авторегрессии; (3) неопределенность истинных значений коэффициентов авторегрессии; и (4) неопределенность в отношении значения ошибки ${\displaystyle \varepsilon _{t}\,}$ на прогнозируемый период. Каждый из последних трех можно количественно оценить и объединить, чтобы получить доверительный интервал для п-шаговые прогнозы; доверительный интервал станет шире по мере п увеличивается из-за использования увеличивающегося количества оценочных значений для правых переменных.

Оценка качества прогнозов

Прогностические характеристики авторегрессионной модели можно оценить, как только оценка будет сделана, если перекрестная проверка используется. В этом подходе некоторые из изначально доступных данных использовались для целей оценки параметров, а некоторые (из доступных наблюдений позже в наборе данных) были задержаны для тестирования вне выборки. В качестве альтернативы, по прошествии некоторого времени после того, как была проведена оценка параметров, станет доступным больше данных, и прогностическая характеристика может быть оценена с использованием новых данных.

В любом случае есть два аспекта прогнозной производительности, которые можно оценить: на шаг впереди и п-шаговая производительность. Для производительности на один шаг вперед оценочные параметры используются в уравнении авторегрессии вместе с наблюдаемыми значениями Икс для всех периодов, предшествующих прогнозируемому, и выходом уравнения является прогноз на один шаг вперед; эта процедура используется для получения прогнозов для каждого из наблюдений вне выборки. Оценить качество п-шаговые прогнозы, для получения прогнозов используется процедура прогнозирования, описанная в предыдущем разделе.

Учитывая набор прогнозируемых значений и соответствующий набор фактических значений для Икс для различных периодов времени обычным методом оценки является использование среднеквадратичная ошибка прогноза; доступны и другие меры (см. прогнозирование # точность прогнозирования ).

Возникает вопрос, как интерпретировать измеренную точность прогнозирования - например, что такое «высокое» (плохое) или «низкое» (хорошее) значение для среднеквадратичной ошибки прогноза? Есть две возможные точки сравнения. Во-первых, точность прогнозирования альтернативной модели, оцененная при различных допущениях моделирования или различных методах оценки, может использоваться для целей сравнения. Во-вторых, показатель точности вне выборки можно сравнить с той же мерой, вычисленной для точек данных в выборке (которые использовались для оценки параметров), для которых доступно достаточное количество предыдущих значений данных (то есть отбрасывание первого п точки данных, для которых п предыдущие данные недоступны). Поскольку модель была оценена специально для максимального соответствия точкам в выборке, обычно бывает так, что прогностическая эффективность вне выборки будет хуже, чем прогностическая эффективность внутри выборки. Но если качество прогноза ухудшается вне выборки на «не очень сильно» (что не может быть точно определено), то прогнозист может быть удовлетворен производительностью.

Смотрите также

• Модель скользящего среднего
• Линейное разностное уравнение
• Прогнозная аналитика
• Кодирование с линейным прогнозированием
• Резонанс
• Рекурсия Левинсона
• Процесс Орнштейна – Уленбека

Примечания

1. Шамуэй, Роберт; Стоффер, Дэвид (2010). Анализ временных рядов и его приложения: на примерах R (3-е изд.). Springer. ISBN  144197864X.
2. Юль, Г. Удный (1927) «О методе исследования периодичностей в возмущенных рядах с особым упором на числа Вольфера», Философские труды Королевского общества Лондона, Сер. А, т. 226, 267–298.]
3. Уокер, Гилберт (1931) «О периодичности ряда связанных терминов», Труды Королевского общества Лондона, Сер. А, т. 131, 518–532.
4. Теодоридис, Сергиос (10 апреля 2015 г.). «Глава 1. Вероятность и случайные процессы». Машинное обучение: байесовская точка зрения и оптимизация. Academic Press, 2015. С. 9–51. ISBN  978-0-12-801522-3.
5. Von Storch, H .; Ф. В. Цвиерс (2001). Статистический анализ в исследованиях климата. Cambridge Univ Pr. ISBN  0-521-01230-9.^{[страница нужна ]}
6. Эшель, Гидон. "Уравнения Юла Уокера для коэффициентов AR" (PDF). stat.wharton.upenn.edu.
7. Бург, Дж. П. (1968). «Новый метод анализа данных временных рядов». В Современный спектральный анализ (Под редакцией Д. Г. Чайлдерса), Институт перспективных исследований НАТО по обработке сигналов с акцентом на подводную акустику. IEEE Press, Нью-Йорк.
8. Броквелл, Питер Дж .; Дальхаус, Райнер; Триндади, А. Александр (2005). "Модифицированные алгоритмы Бурга для многомерной авторегрессии подмножества" (PDF). Statistica Sinica. 15: 197–213. Архивировано из оригинал (PDF) на 2012-10-21.
9. Бург, Дж. П. (1967) "Максимальный энтропийный спектральный анализ", Материалы 37-го собрания ОбществаГеофизики-разведчики, Оклахома-Сити, Оклахома.
10. Bos, R .; De Waele, S .; Броерсен, П. М. Т. (2002). «Авторегрессионная спектральная оценка с применением алгоритма Бурга к нерегулярно дискретизированным данным». IEEE Transactions по приборостроению и измерениям. 51 (6): 1289. Дои:10.1109 / TIM.2002.808031.
11. «Соответствие моделей авторегрессии временным рядам» (в R)
12. Обзор инструментария Econometrics Toolbox
13. Обзор System Identification Toolbox
14. «Авторегрессионное моделирование в MATLAB»
15. "Набор инструментов анализа временных рядов для Matlab и Octave"
16. bayesloop: структура вероятностного программирования, которая облегчает выбор объективной модели для моделей с изменяющимися во времени параметрами.
17. "statsmodels.tsa.ar_model.AR - документация statsmodels 0.9.0". www.statsmodels.org. Получено 2019-05-16.

Рекомендации

• Миллс, Теренс С. (1990). Методы временных рядов для экономистов. Издательство Кембриджского университета.
• Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений. Издательство Кембриджского университета.
• Pandit, Sudhakar M .; Ву, Шиен-Мин (1983). Временные ряды и системный анализ с приложениями. Джон Вили и сыновья.

внешняя ссылка

• Авторегрессионный анализ (AR) Пол Бурк
• Лекция по эконометрике (тема: модели авторегрессии) на YouTube к Марк Тома