Дельта-метод - Delta method

В статистика, то дельта-метод результат относительно приблизительного распределение вероятностей для функция из асимптотически нормальный статистический оценщик от знания ограничивающего отклонение этого оценщика.

История

Дельта-метод был получен из распространение ошибки, а сама идея была известна еще в начале 19 века.^[1] Его статистическое применение можно проследить еще в 1928 г. Т. Л. Келли.^[2] Формальное описание метода было представлено Дж. Л. Дуб в 1935 г.^[3] Роберт Дорфман также описал его версию в 1938 году.^[4]

Одномерный дельта-метод

В то время как дельта-метод легко обобщается на многомерные параметры, тщательная мотивация метода легче продемонстрировать в одномерных терминах. Грубо говоря, если есть последовательность случайных величин Икс_п удовлетворение

${\displaystyle {{\sqrt {n}}[X_{n}-\theta ]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2})},}$

где θ и σ² - конечнозначные константы и ${\displaystyle {\xrightarrow {D}}}$ обозначает конвергенция в распределении, тогда

${\displaystyle {{\sqrt {n}}[g(X_{n})-g(\theta )]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2}\cdot [g'(\theta )]^{2})}}$

для любой функции г удовлетворяющее свойству, что г'(θ) существует и имеет ненулевое значение.

Доказательство в одномерном случае

Демонстрация этого результата довольно проста в предположении, что г'(θ) является непрерывный. Для начала воспользуемся теорема о среднем значении (то есть: приближение первого порядка Серия Тейлор с помощью Теорема Тейлора ):

${\displaystyle g(X_{n})=g(\theta )+g'({\tilde {\theta }})(X_{n}-\theta ),}$

где ${\displaystyle {\tilde {\theta }}}$ лежит между Икс_п и θ.Обратите внимание, что, поскольку ${\displaystyle X_{n}\,{\xrightarrow {P}}\,\theta }$ и ${\displaystyle |{\tilde {\theta }}-\theta |<|X_{n}-\theta |}$, это должно быть так ${\displaystyle {\tilde {\theta }}\,{\xrightarrow {P}}\,\theta }$ и с тех пор г'(θ) непрерывна, применяя теорема о непрерывном отображении дает

${\displaystyle g'({\tilde {\theta }})\,{\xrightarrow {P}}\,g'(\theta ),}$

где ${\displaystyle {\xrightarrow {P}}}$ обозначает сходимость по вероятности.

Переставляем члены и умножаем на ${\displaystyle {\sqrt {n}}}$ дает

${\displaystyle {\sqrt {n}}[g(X_{n})-g(\theta )]=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ].}$

поскольку

${\displaystyle {{\sqrt {n}}[X_{n}-\theta ]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2})}}$

по предположению, сразу следует из обращения к Теорема Слуцкого это

${\displaystyle {{\sqrt {n}}[g(X_{n})-g(\theta )]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2}[g'(\theta )]^{2})}.}$

Это завершает доказательство.

Доказательство с явным порядком приближения.

В качестве альтернативы можно добавить еще один шаг в конце, чтобы получить порядок приближения:

${\displaystyle {\begin{aligned}{\sqrt {n}}[g(X_{n})-g(\theta )]&=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ]={\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})+g'(\theta )-g'(\theta )\right]\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+{\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})-g'(\theta )\right]\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+O_{p}(1)\cdot o_{p}(1)\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+o_{p}(1)\end{aligned}}}$

Это говорит о том, что ошибка приближения по вероятности сходится к нулю.

Многовариантный дельта-метод

По определению согласованная оценка B сходится по вероятности по своей истинной ценности β, и часто Центральная предельная теорема может применяться для получения асимптотическая нормальность:

${\displaystyle {\sqrt {n}}\left(B-\beta \right)\,{\xrightarrow {D}}\,N\left(0,\Sigma \right),}$

где п - количество наблюдений, а Σ - ковариационная матрица (симметричная положительно полуопределенная). Предположим, мы хотим оценить дисперсию скалярнозначной функции час оценщика B. Сохраняя только первые два члена Серия Тейлор, и используя векторные обозначения для градиент, мы можем оценить h (В) так как

${\displaystyle h(B)\approx h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )}$

что подразумевает дисперсию h (В) примерно

${\displaystyle {\begin{aligned}\operatorname {Var} \left(h(B)\right)&\approx \operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )\right)\\&=\operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot B-\nabla h(\beta )^{T}\cdot \beta \right)\\&=\operatorname {Var} \left(\nabla h(\beta )^{T}\cdot B\right)\\&=\nabla h(\beta )^{T}\cdot \operatorname {Cov} (B)\cdot \nabla h(\beta )\\&=\nabla h(\beta )^{T}\cdot (\Sigma )\cdot \nabla h(\beta )\end{aligned}}}$

Можно использовать теорема о среднем значении (для действительных функций многих переменных), чтобы убедиться, что это не зависит от приближения первого порядка.

Следовательно, дельта-метод подразумевает, что

${\displaystyle {\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\nabla h(\beta )^{T}\cdot \Sigma \cdot \nabla h(\beta )\right)}$

или в одномерном выражении,

${\displaystyle {\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\sigma ^{2}\cdot \left(h^{\prime }(\beta )\right)^{2}\right).}$

Пример: биномиальная пропорция

Предположим Икс_п является биномиальный с параметрами ${\displaystyle p\in (0,1]}$ и п. поскольку

${\displaystyle {{\sqrt {n}}\left[{\frac {X_{n}}{n}}-p\right]\,{\xrightarrow {D}}\,N(0,p(1-p))},}$

мы можем применить метод Delta с г(θ) = журнал (θ) увидеть

${\displaystyle {{\sqrt {n}}\left[\log \left({\frac {X_{n}}{n}}\right)-\log(p)\right]\,{\xrightarrow {D}}\,N(0,p(1-p)[1/p]^{2})}}$

Следовательно, даже если для любого конечного п, дисперсия ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ фактически не существует (так как Икс_п может быть нулевым), асимптотическая дисперсия ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ существует и равен

${\displaystyle {\frac {1-p}{np}}.}$

Обратите внимание, что поскольку р> 0, ${\displaystyle \Pr \left({\frac {X_{n}}{n}}>0\right)\rightarrow 1}$ так как ${\displaystyle n\rightarrow \infty }$, поэтому с вероятностью, сходящейся к единице, ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ конечно для больших п.

Более того, если ${\displaystyle {\hat {p}}}$ и ${\displaystyle {\hat {q}}}$ являются оценками различных групповых показателей из независимых выборок размеров п и м соответственно, то логарифм оценочного относительный риск ${\displaystyle {\frac {\hat {p}}{\hat {q}}}}$ имеет асимптотическую дисперсию, равную

${\displaystyle {\frac {1-p}{p\,n}}+{\frac {1-q}{q\,m}}.}$

Это полезно для построения проверки гипотез или определения доверительного интервала для относительного риска.

Альтернативная форма

Дельта-метод часто используется в форме, практически идентичной приведенной выше, но без предположения, что Икс_п или B асимптотически нормально. Часто единственным контекстом является то, что отклонение «небольшое». Тогда результаты просто дают приближения к средним и ковариациям преобразованных величин. Например, формулы, представленные в Klein (1953, p. 258), следующие:^[5]

${\displaystyle {\begin{aligned}\operatorname {Var} \left(h_{r}\right)=&\sum _{i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)^{2}\operatorname {Var} \left(B_{i}\right)+\sum _{i}\sum _{j\neq i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{r}}{\partial B_{j}}}\right)\operatorname {Cov} \left(B_{i},B_{j}\right)\\\operatorname {Cov} \left(h_{r},h_{s}\right)=&\sum _{i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{s}}{\partial B_{i}}}\right)\operatorname {Var} \left(B_{i}\right)+\sum _{i}\sum _{j\neq i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{s}}{\partial B_{j}}}\right)\operatorname {Cov} \left(B_{i},B_{j}\right)\end{aligned}}}$

где час_р это рй элемент час(B) и B_я это яй элемент B.

Дельта-метод второго порядка

Когда г'(θ) = 0 нельзя применить дельта-метод. Однако если г''(θ) существует и не равно нулю, можно применить дельта-метод второго порядка. По разложению Тейлора ${\displaystyle {\sqrt {n}}[g(X_{n})-g(\theta )]={\frac {1}{2}}{\sqrt {n}}[X_{n}-\theta ]^{2}\left[g''(\theta )\right]+o_{p}(1)}$, так что дисперсия ${\displaystyle g\left(X_{n}\right)}$ полагается до 4-го момента ${\displaystyle X_{n}}$.

Дельта-метод второго порядка также полезен для более точного приближения ${\displaystyle g\left(X_{n}\right)}$Распределение при небольшом размере выборки. ${\displaystyle {\sqrt {n}}[g(X_{n})-g(\theta )]={\sqrt {n}}[X_{n}-\theta ]g'(\theta )+{\frac {1}{2}}{\sqrt {n}}[X_{n}-\theta ]^{2}g''(\theta )+o_{p}(1)}$.Например, когда ${\displaystyle X_{n}}$ следует стандартному нормальному распределению, ${\displaystyle g\left(X_{n}\right)}$ может быть аппроксимировано как взвешенная сумма стандартной нормали и хи-квадрат со степенью свободы 1.

Смотрите также

• Разложения Тейлора для моментов функций случайных величин
• Преобразование, стабилизирующее отклонение

использованная литература

1. Портной, Стивен (2013). "Письмо редактору". Американский статистик. 67 (3): 190–190. Дои:10.1080/00031305.2013.820668.
2. Келли, Трумэн Л. (1928). Перекресток в сознании человека: исследование различных умственных способностей. С. 49–50. ISBN  978-1-4338-0048-1.
3. Дуб, Дж. Л. (1935). «Предельные распределения определенной статистики». Анналы математической статистики. 6: 160–169. Дои:10.1214 / aoms / 1177732594. JSTOR  2957546.
4. Вер Хоф, Дж. М. (2012). «Кто изобрел дельта-метод?». Американский статистик. 66 (2): 124–127. Дои:10.1080/00031305.2012.687494. JSTOR  23339471.
5. Кляйн, Л. (1953). Учебник по эконометрике. п. 258.

дальнейшее чтение

• Олерт, Г. В. (1992). «Примечание о методе дельты». Американский статистик. 46 (1): 27–29. Дои:10.1080/00031305.1992.10475842. JSTOR  2684406.
• Уолтер, Кирк М. (1985). «Методы серии Тейлора». Введение в оценку дисперсии. Нью-Йорк: Спрингер. С. 221–247. ISBN  0-387-96119-4.

внешние ссылки

• Асмуссен, Сорен (2005). «Некоторые применения дельта-метода» (PDF). Конспект лекций. Орхусский университет.
• Фейвесон, Алан Х. «Объяснение дельта-метода». Stata Corp.
• Сюй, Цзюнь; Лонг, Дж. Скотт (22 августа 2005 г.). «Использование метода дельты для построения доверительных интервалов для прогнозируемых вероятностей, ставок и дискретных изменений» (PDF). Конспект лекций. Университет Индианы.