Метод Штейнса - Steins method

Не путать с Лемма Штейна.

Метод Штейна это общий метод в теория вероятности для получения оценок расстояния между двумя распределения вероятностей по отношению к метрика вероятности. Он был представлен Чарльз Штайн, который впервые опубликовал его в 1972 году,^[1] чтобы получить оценку между распределением суммы ${\displaystyle m}$-зависимая последовательность случайные переменные и стандартное нормальное распределение в Колмогоровская (равномерная) метрика и, следовательно, доказать не только Центральная предельная теорема, но и ограничения на скорость конвергенция для данной метрики.

История

В конце 1960-х годов, будучи неудовлетворенными известными к тому времени доказательствами конкретного Центральная предельная теорема Чарльз Штейн разработал новый способ доказательства теоремы для своего статистика лекция.^[2] Его основополагающая статья была представлена ​​в 1970 году на шестом симпозиуме в Беркли и опубликована в соответствующих трудах.^[1]

Позже его Кандидат наук. ученик Луи Чен Сяо Юнь модифицировал метод таким образом, чтобы получить результаты аппроксимации для распределение Пуассона;^[3] поэтому метод Стейна, применяемый к проблеме пуассоновской аппроксимации, часто называют Метод Штейна-Чена.

Вероятно, наиболее важным вкладом является монография Штейна (1986), в которой он представляет свой взгляд на метод и концепцию вспомогательная рандомизация, в частности, используя сменные пары, а также статьи Барбура (1988) и Гетце (1991), которые представили так называемый интерпретация генератора, что позволило легко адаптировать метод ко многим другим распределениям вероятностей. Важным вкладом была также статья Болтхаузена (1984) о так называемом комбинаторная центральная предельная теорема.^{[нужна цитата ]}

В 1990-х годах этот метод был адаптирован к различным дистрибутивам, таким как Гауссовские процессы Барбур (1990), биномиальное распределение Эмом (1991), Пуассоновские процессы Барбур и Браун (1992), Гамма-распределение Люком (1994) и многими другими.

Базовый подход

Вероятностные метрики

Метод Штейна - это способ ограничить расстояние между двумя распределениями вероятностей с помощью определенного метрика вероятности.

Пусть метрика задана в виде

${\displaystyle (1.1)\quad d(P,Q)=\sup _{h\in {\mathcal {H}}}\left|\int hdP-\int hdQ\right|=\sup _{h\in {\mathcal {H}}}\left|Eh(W)-Eh(Y)\right|}$

Здесь, ${\displaystyle P}$ и ${\displaystyle Q}$ - вероятностные меры на измеримое пространство ${\displaystyle {\mathcal {X}}}$, ${\displaystyle W}$ и ${\displaystyle Y}$ случайные величины с распределением ${\displaystyle P}$ и ${\displaystyle Q}$ соответственно, ${\displaystyle E}$ - обычный оператор ожидания и ${\displaystyle {\mathcal {H}}}$ это набор функций из ${\displaystyle {\mathcal {X}}}$ к набору действительных чисел. Набор ${\displaystyle {\mathcal {H}}}$ должен быть достаточно большим, так что приведенное выше определение действительно дает метрика.

Важными примерами являются показатель общей вариации, где мы позволили ${\displaystyle {\mathcal {H}}}$ состоит из всех индикаторные функции измеримых множеств Колмогоровская (равномерная) метрика для вероятностных мер на действительных числах, где мы рассматриваем все индикаторные функции половинной линии, и Метрика Липшица (Вассерштейна; Канторовича первого порядка), где базовое пространство само является метрическим пространством, и мы берем множество ${\displaystyle {\mathcal {H}}}$ быть всем Липшицево-непрерывный функции с константой Липшица 1. Однако заметим, что не всякая метрика может быть представлена ​​в виде (1.1).

В дальнейшем ${\displaystyle P}$ - сложное распределение (например, распределение суммы зависимых случайных величин), которое мы хотим аппроксимировать гораздо более простым и управляемым распределением ${\displaystyle Q}$ (например, стандартное нормальное распределение).

Оператор Штейна

Предположим теперь, что распределение ${\displaystyle Q}$ фиксированное распределение; в дальнейшем мы, в частности, рассмотрим случай, когда ${\displaystyle Q}$ - стандартное нормальное распределение, которое служит классическим примером.

В первую очередь нам понадобится оператор ${\displaystyle {\mathcal {A}}}$, действующий на функции ${\displaystyle f}$ из ${\displaystyle {\mathcal {X}}}$ множеству действительных чисел и 'характеризует' распределение ${\displaystyle Q}$ в том смысле, что имеет место следующая эквивалентность:

${\displaystyle (2.1)\quad E({\mathcal {A}}f)(Y)=0{\text{ for all }}f\quad \iff \quad Y{\text{ has distribution }}Q.}$

Мы называем такой оператор Оператор Штейна.

Для стандартного нормального распределения Лемма Штейна дает такой оператор:

${\displaystyle (2.2)\quad E\left(f'(Y)-Yf(Y)\right)=0{\text{ for all }}f\in C_{b}^{1}\quad \iff \quad Y{\text{ has standard normal distribution.}}}$

Таким образом, мы можем взять

${\displaystyle (2.3)\quad ({\mathcal {A}}f)(x)=f'(x)-xf(x).}$

Таких операторов вообще бесконечно много, и вопрос о том, какой выбрать, остается открытым. Однако, похоже, что для многих дистрибутивов существует особая хороший один, как (2.3) для нормального распределения.

Есть разные способы найти операторы Штейна.^[4]

Уравнение Штейна

${\displaystyle P}$ близко к ${\displaystyle Q}$ относительно ${\displaystyle d}$ если разность ожиданий в (1.1) близка к 0. Теперь мы надеемся, что оператор ${\displaystyle {\mathcal {A}}}$ показывает то же поведение: если ${\displaystyle P=Q}$ тогда ${\displaystyle E({\mathcal {A}}f)(W)=0}$, и, надеюсь, если ${\displaystyle P\approx Q}$ у нас есть ${\displaystyle E({\mathcal {A}}f)(W)\approx 0}$.

Обычно можно определить функцию ${\displaystyle f=f_{h}}$ такой, что

${\displaystyle (3.1)\quad ({\mathcal {A}}f)(x)=h(x)-E[h(Y)]\qquad {\text{ for all }}x.}$

Мы называем (3.1) Уравнение Штейна. Замена ${\displaystyle x}$ к ${\displaystyle W}$ и ожидая в отношении ${\displaystyle W}$, мы получили

${\displaystyle (3.2)\quad E({\mathcal {A}}f)(W)=E[h(W)]-E[h(Y)].}$

Теперь все усилия окупаются, только если левую часть (3.2) легче связать, чем правую. Как ни странно, так бывает часто.

Если ${\displaystyle Q}$ - стандартное нормальное распределение, и мы используем (2.3), то соответствующее уравнение Стейна имеет вид

${\displaystyle (3.3)\quad f'(x)-xf(x)=h(x)-E[h(Y)]\qquad {\text{for all }}x.}$

Если вероятностное распределение Q имеет абсолютно непрерывную (относительно меры Лебега) плотность q, то^[4]

${\displaystyle (3.4)\quad ({\mathcal {A}}f)(x)=f'(x)+f(x)q'(x)/q(x).}$

Решение уравнения Штейна

Аналитические методы. Уравнение (3.3) легко решается явно:

${\displaystyle (4.1)\quad f(x)=e^{x^{2}/2}\int _{-\infty }^{x}[h(s)-Eh(Y)]e^{-s^{2}/2}ds.}$

Генераторный метод. Если ${\displaystyle {\mathcal {A}}}$ является генератором марковского процесса ${\displaystyle (Z_{t})_{t\geq 0}}$ (см. Barbour (1988), Götze (1991)), тогда решение (3.2) есть

${\displaystyle (4.2)\quad f(x)=-\int _{0}^{\infty }[E^{x}h(Z_{t})-Eh(Y)]dt,}$

куда ${\displaystyle E^{x}}$ обозначает ожидание по отношению к процессу ${\displaystyle Z}$ начат в ${\displaystyle x}$. Однако еще предстоит доказать, что решение (4.2) существует для всех искомых функций ${\displaystyle h\in {\mathcal {H}}}$.

Свойства решения уравнения Штейна.

Обычно стараются дать границы ${\displaystyle f}$ и его производные (или отличия) с точки зрения ${\displaystyle h}$ и его производные (или разности), то есть неравенства вида

${\displaystyle (5.1)\quad \|D^{k}f\|\leq C_{k,l}\|D^{l}h\|,}$

для некоторых конкретных ${\displaystyle k,l=0,1,2,\dots }$ (обычно ${\displaystyle k\geq l}$ или же ${\displaystyle k\geq l-1}$соответственно, в зависимости от вида оператора Штейна), где часто ${\displaystyle \|\cdot \|}$ - норма супремума. Здесь, ${\displaystyle D^{k}}$ обозначает дифференциальный оператор, но в дискретных настройках обычно относится к оператор разницы. Константы ${\displaystyle C_{k,l}}$ может содержать параметры распределения ${\displaystyle Q}$. Если таковые имеются, их часто называют Факторы Штейна.

В случае (4.1) можно доказать для верхняя норма который

${\displaystyle (5.2)\quad \|f\|_{\infty }\leq \min\{{\sqrt {\pi /2}}\|h\|_{\infty },2\|h'\|_{\infty }\},\quad \|f'\|_{\infty }\leq \min\{2\|h\|_{\infty },4\|h'\|_{\infty }\},\quad \|f''\|_{\infty }\leq 2\|h'\|_{\infty },}$

где последняя оценка, конечно, применима, только если ${\displaystyle h}$ дифференцируема (или, по крайней мере, липшицева, что, например, не так, если мы рассматриваем метрику полной вариации или метрику Колмогорова!). Поскольку стандартное нормальное распределение не имеет дополнительных параметров, в этом конкретном случае константы не содержат дополнительных параметров.

Если у нас есть оценки в общей форме (5.1), мы обычно можем рассматривать многие вероятностные метрики вместе. Часто можно начать со следующего шага ниже, если границы вида (5.1) уже доступны (что имеет место для многих распределений).

Абстрактная аппроксимационная теорема

Теперь мы можем ограничить левую часть (3.1). Поскольку этот шаг сильно зависит от формы оператора Штейна, мы непосредственно рассматриваем случай стандартного нормального распределения.

На этом этапе мы могли напрямую подключить случайную переменную ${\displaystyle W}$, которое мы хотим аппроксимировать, и попытаемся найти верхние границы. Однако часто бывает полезно сформулировать более общую теорему. Рассмотрим здесь случай локальной зависимости.

Предположить, что ${\displaystyle W=\sum _{i=1}^{n}X_{i}}$ представляет собой сумму случайных величин таких, что ${\displaystyle E[W]=0}$ и отклонение ${\displaystyle \operatorname {var} [W]=1}$. Предположим, что для каждого ${\displaystyle i=1,\dots ,n}$, есть набор ${\displaystyle A_{i}\subset \{1,2,\dots ,n\}}$, так что ${\displaystyle X_{i}}$ не зависит от всех случайных величин ${\displaystyle X_{j}}$ с ${\displaystyle j\not \in A_{i}}$. Мы называем это множество "окрестностью" ${\displaystyle X_{i}}$. Так же пусть ${\displaystyle B_{i}\subset \{1,2,\dots ,n\}}$ быть таким, что все ${\displaystyle X_{j}}$ с ${\displaystyle j\in A_{i}}$ независимы от всех ${\displaystyle X_{k}}$, ${\displaystyle k\not \in B_{i}}$. Мы можем думать о ${\displaystyle B_{i}}$ как соседи по соседству с ${\displaystyle X_{i}}$, район второго порядка, так сказать. Для набора ${\displaystyle A\subset \{1,2,\dots ,n\}}$ теперь определите сумму ${\displaystyle X_{A}:=\sum _{j\in A}X_{j}}$.

Используя разложение Тейлора, можно доказать, что

${\displaystyle (6.1)\quad \left|E(f'(W)-Wf(W))\right|\leq \|f''\|_{\infty }\sum _{i=1}^{n}\left({\frac {1}{2}}E|X_{i}X_{A_{i}}^{2}|+E|X_{i}X_{A_{i}}X_{B_{i}\setminus A_{i}}|+E|X_{i}X_{A_{i}}|E|X_{B_{i}}|\right)}$

Отметим, что, следуя этой линии рассуждений, мы можем оценить (1.1) только для функций, где ${\displaystyle \|h'\|_{\infty }}$ ограничена в силу третьего неравенства (5.2) (и действительно, если ${\displaystyle h}$ имеет разрывы, так будет ${\displaystyle f''}$). Чтобы получить оценку, аналогичную (6.1), содержащую только выражения ${\displaystyle \|f\|_{\infty }}$ и ${\displaystyle \|f'\|_{\infty }}$аргументация гораздо сложнее, а результат не так прост, как (6.1); однако это можно сделать.

Теорема А. Если ${\displaystyle W}$ как описано выше, для липшицевой метрики ${\displaystyle d_{W}}$ который

${\displaystyle (6.2)\quad d_{W}({\mathcal {L}}(W),N(0,1))\leq 2\sum _{i=1}^{n}\left({\frac {1}{2}}E|X_{i}X_{A_{i}}^{2}|+E|X_{i}X_{A_{i}}X_{B_{i}\setminus A_{i}}|+E|X_{i}X_{A_{i}}|E|X_{B_{i}}|\right).}$

Доказательство. Напомним, что липшицева метрика имеет вид (1.1) где функции ${\displaystyle h}$ липшицевы с константой Липшица 1, поэтому ${\displaystyle \|h'\|\leq 1}$. Объединение этого с (6.1) и последней оценкой в ​​(5.2) доказывает теорему.

Таким образом, грубо говоря, мы доказали, что для вычисления липшицевости расстояния между ${\displaystyle W}$ со структурой локальной зависимости и стандартным нормальным распределением нам нужно знать только третьи моменты ${\displaystyle X_{i}}$ и размер кварталов ${\displaystyle A_{i}}$ и ${\displaystyle B_{i}}$.

Применение теоремы

Мы можем рассматривать случай сумм независимые и одинаково распределенные случайные величины с теоремой А.

Предположить, что ${\displaystyle EX_{i}=0}$, ${\displaystyle varX_{i}=1}$ и ${\displaystyle W=n^{-1/2}\sum X_{i}}$. Мы можем взять ${\displaystyle A_{i}=B_{i}=\{i\}}$. Из теоремы A получаем, что

${\displaystyle (7.1)\quad d_{W}({\mathcal {L}}(W),N(0,1))\leq {\frac {5E|X_{1}|^{3}}{n^{1/2}}}.}$

Для сумм случайных величин другой подход, связанный с методом Штейнса, известен как метод преобразование с нулевым смещением.

Подключения к другим методам

• Устройство Линдеберга. Lindeberg (1922) представил устройство, в котором разница

${\displaystyle Eh(X_{1}+...+X_{n})-Eh(Y_{1}+...+Y_{n})}$ представлен в виде суммы пошаговых различий.

• Метод Тихомирова. Ясно, что подход с помощью (1.1) и (3.1) не включает характеристические функции. Однако Тихомиров (1980) представил доказательство центральной предельной теоремы, основанное на характеристических функциях и дифференциальном операторе, аналогичном (2.3). Основное наблюдение состоит в том, что характеристическая функция ${\displaystyle \psi (t)}$ стандартного нормального распределения удовлетворяет дифференциальному уравнению ${\displaystyle \psi '(t)+t\psi (t)=0}$ для всех ${\displaystyle t}$. Таким образом, если характеристическая функция ${\displaystyle \psi _{W}(t)}$ из ${\displaystyle W}$ таково, что ${\displaystyle \psi '_{W}(t)+t\psi _{W}(t)\approx 0}$ мы ожидаем, что ${\displaystyle \psi _{W}(t)\approx \psi (t)}$ и, следовательно, что ${\displaystyle W}$ близка к нормальному распределению. Тихомиров в своей статье утверждает, что его вдохновила основополагающая статья Штейна.

Смотрите также

• Лемма Штейна

Примечания

1. Штейн, К. (1972). «Граница ошибки нормального приближения к распределению суммы зависимых случайных величин». Труды Шестого симпозиума Беркли по математической статистике и теории вероятностей, Том 2. Калифорнийский университет Press. С. 583–602. МИСТЕР  0402873. Zbl  0278.60026.
2. Чарльз Штайн: инвариант, прямой и «претенциозный» В архиве 2007-07-05 на Wayback Machine. Интервью, данное в 2003 году в Сингапуре
3. Чен, L.H.Y. (1975). «Пуассоновское приближение для зависимых испытаний». Анналы вероятности. 3 (3): 534–545. Дои:10.1214 / aop / 1176996359. JSTOR  2959474. МИСТЕР  0428387. Zbl  0335.60016.
4. Новак, С.Ю. (2011). Экстремальные методы применения в финансах. Монографии по статистике и прикладной теории вероятностей. 122. CRC Press. Гл. 12. ISBN  978-1-43983-574-6.

Рекомендации

• Барбур, А. Д. (1988). «Метод Штейна и сходимость пуассоновского процесса». Журнал прикладной теории вероятностей. 25: 175–184. Дои:10.2307/3214155. JSTOR  3214155.
• Барбур, А. Д. (1990). «Метод Штейна для диффузионных приближений». Теория вероятностей и смежные области. 84 (3): 297–322. Дои:10.1007 / BF01197887.
• Барбур А. Д. и Браун Т. С. (1992). «Метод Штейна и аппроксимация точечных процессов». Стохастические процессы и их приложения. 43 (1): 9–31. Дои:10.1016 / 0304-4149 (92) 90073-У.
• Больтаузен, Э. (1984). «Оценка остатка в комбинаторной центральной предельной теореме». Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete. 66 (3): 379–386. Дои:10.1007 / BF00533704.
• Эм, В. (1991). «Биномиальное приближение к биномиальному распределению Пуассона». Письма о статистике и вероятности. 11 (1): 7–16. Дои:10.1016 / 0167-7152 (91) 90170-В.
• Гётце, Ф. (1991). «О скорости сходимости в многомерной CLT». Анналы вероятности. 19 (2): 724–739. Дои:10.1214 / aop / 1176990448.
• Линдеберг, Дж. У. (1922). "Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechung". Mathematische Zeitschrift. 15 (1): 211–225. Дои:10.1007 / BF01494395.
• Лук, Х. М. (1994). Метод Штейна для гамма-распределения и связанные статистические приложения. Диссертация.
• Новак, С. Ю. (2011). Экстремальные методы с приложениями для финансирования. Монографии по статистике и прикладной теории вероятностей. 122. CRC Press. ISBN  978-1-43983-574-6.
• Стейн, К. (1986). Примерный расчет ожиданий. Конспект лекций-Серия монографий. 7. Институт математической статистики. ISBN  0-940600-08-0.
• Тихомиров, А. Н. (1980). «Скорость сходимости в центральной предельной теореме для слабо зависимых случайных величин». Теория Вероятности и ее применения. 25: 800–818. Английский перевод в Тихомиров, А. Н. (1981). «О скорости сходимости в центральной предельной теореме для слабозависимых случайных величин». Теория вероятностей и ее приложения. 25 (4): 790–809. Дои:10.1137/1125092.

Литература

Следующий текст является расширенным и дает исчерпывающий обзор нормального случая.

• Чен, Л.Х.Й., Гольдштейн, Л., Шао, К.М. (2011). Нормальное приближение по методу Штейна.. www.springer.com. ISBN  978-3-642-15006-7.

Другая продвинутая книга, но имеющая некоторый вводный характер, - это

• изд. Барбур, A.D. и Чен, L.H.Y. (2005). Введение в метод Штейна. Серия лекций, Институт математических наук, Национальный университет Сингапура. 4. Издательство Сингапурского университета. ISBN  981-256-280-Х.

Стандартный справочник - книга Штейна,

• Стейн, К. (1986). Примерный расчет ожиданий. Конспект лекций Института математической статистики, серия монографий, 7. Хейворд, Калифорния: Институт математической статистики. ISBN  0-940600-08-0.

который содержит много интересного материала, но может быть немного трудным для понимания при первом чтении.

Несмотря на свой возраст, существует несколько стандартных вводных книг о методе Штейна. В следующем недавнем учебнике есть глава (глава 2), посвященная введению метода Штейна:

• Росс, Шелдон и Пекез, Эрол (2007). Второй ход вероятности. ISBN  978-0-9795704-0-7.

Хотя книга

• Барбур, А. Д., Холст, Л., и Янсон, С. (1992). Пуассоновское приближение. Оксфордские исследования вероятностей. 2. Кларендон Пресса, Издательство Оксфордского университета. ISBN  0-19-852235-5.

в значительной степени относится к приближению Пуассона, тем не менее, он содержит много информации о подходе генератора, в частности, в контексте приближения процесса Пуассона.

В следующем учебнике есть глава (глава 10), посвященная введению метода Пуассона Штейна:

• Шелдон М. Росс (1995). Стохастические процессы. Вайли. ISBN  978-0471120629.