Распределение вероятностей крайних точек винеровского случайного процесса - Probability distribution of extreme points of a Wiener stochastic process

В математической теории вероятностей Винеровский процесс, названный в честь Норберт Винер, это случайный процесс используется при моделировании различных явлений, в том числе Броуновское движение и колебания на финансовых рынках. Формула для условное распределение вероятностей экстремума винеровского процесса и набросок его доказательства появляется в работе Х. Дж. Кушера (приложение 3, стр. 106), опубликованной в 1964 году.^[1] подробное конструктивное доказательство появляется в работе Дарио Баллабио в 1978 году.^[2] Этот результат был разработан в рамках исследовательского проекта о Байесовская оптимизация алгоритмы.

В некоторых задачах глобальной оптимизации аналитическое определение целевой функции неизвестно, и можно получить значения только в фиксированных точках. Существуют объективные функции, в которых стоимость оценки очень высока, например, когда оценка является результатом эксперимента или особенно обременительного измерения. В этих случаях поиск глобального экстремума (максимума или минимума) может выполняться с использованием методологии с названием "Байесовская оптимизация ", которые стремятся получить априори наилучший возможный результат с заранее определенным числом оценок. В итоге предполагается, что за пределами точек, в которых она уже была оценена, целевая функция имеет шаблон, который может быть представлен случайным процессом с соответствующими характеристиками. Стохастический процесс рассматривается как модель целевой функции, предполагая, что распределение вероятностей его экстремумов дает наилучшее указание на экстремумы целевой функции. В простейшем случае одномерной оптимизации при условии, что целевая функция была оценена в нескольких точках, возникает проблема выбора того, в какой из идентифицированных таким образом интервалов более целесообразно инвестировать в дальнейшую оценку. Если в качестве модели целевой функции выбран винеровский стохастический процесс, он можно рассчитать распределение вероятностей крайних точек модели внутри каждого интервала, обусловленное известными значениями в целых рвал границы. Сравнение полученных распределений дает критерий выбора интервала, в котором процесс должен быть повторен. Значение вероятности определения интервала, в который попадает точка глобального экстремума целевой функции, может использоваться в качестве критерия остановки. Байесовская оптимизация не является эффективным методом точного поиска локальных экстремумов, поэтому после ограничения диапазона поиска, в зависимости от характеристик проблемы, можно использовать конкретный метод локальной оптимизации.

Предложение

Позволять ${\displaystyle X(t)}$ быть винером случайный процесс на интервале ${\displaystyle [a,b]}$ с начальным значением ${\displaystyle X(a)=X_{a}.}$

По определению Винеровский процесс, приращения имеют нормальное распределение:

${\displaystyle {\text{for }}a\leq t_{1}<t_{2}\leq b,\qquad X(t_{2})-X(t_{1})\sim N(0,\sigma ^{2}(t_{2}-t_{1})).}$

Позволять

${\displaystyle F(z)=\Pr(\min _{a\leq t\leq b}X(t)\leq z\mid X(b)=X_{b})}$

быть кумулятивная функция распределения вероятностей минимального значения ${\displaystyle X(t)}$ функция на интервале ${\displaystyle [a,b]}$ обусловленный по значению ${\displaystyle X(b)=X_{b}.}$

Показано, что:^{[1][3][примечание 1]}

${\displaystyle F(z)={\begin{cases}1&{\text{for }}z\geq \min\{X_{a},X_{b}\},\\\exp \left(-2{\dfrac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}\right)&{\text{for }}z<\min(X_{a},X_{b}).\end{cases}}}$

Конструктивное доказательство

Дело ${\displaystyle z\geq \min(X_{a},X_{b})}$ является непосредственным следствием минимального определения, в дальнейшем всегда предполагается ${\displaystyle z<\min(X_{a},X_{b})}$.

Предположим ${\displaystyle X(t)}$ определяется в конечном числе точек${\displaystyle t_{k}\in [a,b],\ \ 0\leq k\leq n,\ \ t_{0}=a}$.

Позволять ${\displaystyle T_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{t_{k},\ \ 0\leq k\leq n,\}}$ изменяя целое число ${\displaystyle n}$ последовательность множеств ${\displaystyle \{T_{n}\}}$ такой, что ${\displaystyle T_{n}\subset T_{n+1}}$ и ${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$ быть плотный набор в ${\displaystyle [a,b]}$,

следовательно, каждый район каждой точки в ${\displaystyle [a,b]}$ содержит элемент одного из наборов ${\displaystyle T_{n}}$.

Давайте ${\displaystyle \Delta z}$ вещественное положительное число такое, что ${\displaystyle z+\Delta z<\min(X_{a},X_{b}).}$

Пусть мероприятие ${\displaystyle E}$ определяться как: ${\displaystyle E\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\min _{a\leq t\leq b}X(t)<z+\Delta z)}$ ${\displaystyle \Longleftrightarrow }$ ${\displaystyle (\exists \,t\in [a,b]:X(t)<z+\Delta z)}$ .

Позволять ${\displaystyle E_{n},\ \ n=0,1,2,\ldots }$ быть событиями, определенными как: ${\displaystyle E_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\exists \,t_{k}\in T_{n}:z<X(t_{k})<z+\Delta z)}$ и разреши ${\displaystyle \nu }$ быть первым k среди ${\displaystyle t_{k}\in T_{n}}$ которые определяют ${\displaystyle E_{n}}$ .

С ${\displaystyle T_{n}\subset T_{n+1}}$ это очевидно ${\displaystyle E_{n}\subset E_{n+1}}$. Теперь уравнение (2.1) будет доказано.

(2.1) ${\displaystyle \ \ \ \ E=\bigcup _{n=0}^{+\infty }E_{n}}$

Посредством ${\displaystyle E_{n}}$ определение событий,${\displaystyle \forall \,n\ \ E_{n}\Rightarrow E}$, следовательно ${\displaystyle \bigcup _{n=0}^{+\infty }E_{n}\subset E}$ . Теперь будет проверено соотношение ${\displaystyle E\subset \bigcup _{n=0}^{+\infty }E_{n}}$ следовательно (2.1) будет доказано.

Определение ${\displaystyle E}$, преемственность ${\displaystyle X(t)}$ и гипотеза ${\displaystyle z<X_{a}=X(a)}$ подразумевают, что теорема о промежуточном значении, ${\displaystyle (\exists \,{\bar {t}}\in [a,b]:z<X({\bar {t}})<z+\Delta z)}$.

По преемственности ${\displaystyle X(t)}$ и гипотеза о том, что ${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$ плотно в ${\displaystyle [a,b]}$ вычитается, что ${\displaystyle \exists \,{\bar {n}}}$ так что для ${\displaystyle t_{\nu }\in T_{\bar {n}}}$ Это должно быть ${\displaystyle z<X(t_{\nu })<z+\Delta z}$ ,

следовательно ${\displaystyle E\subset E_{\bar {n}}\subset \bigcup _{n=0}^{+\infty }E_{n}}$ что подразумевает (2.1).

(2.2) ${\displaystyle \ \ \ \ P(E)=\lim _{n\rightarrow +\infty }P(E_{n})}$

(2.2) вычитается из (2.1), учитывая, что ${\displaystyle E_{n}\Rightarrow E_{n+1}}$ следует, что последовательность вероятностей ${\displaystyle P(E_{n})}$ является монотонный не убывает и, следовательно, сходится к своему супремум. Определение событий ${\displaystyle E_{n}}$ подразумевает ${\displaystyle \forall n\ \ P(E_{n})>0\Rightarrow P(E_{n})=P(E_{\nu })}$ и (2.2) подразумевает ${\displaystyle P(E)=P(E_{\nu })}$.

С ${\displaystyle X(t)}$ имеет нормальное распределение, это наверняка ${\displaystyle P(E)>0}$. В дальнейшем всегда предполагается ${\displaystyle n\geq \nu }$, так ${\displaystyle t_{\nu }}$ хорошо определено.

(2.3) ${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)-X(t_{\nu })<-X_{b}+z)}$

Фактически, по определению ${\displaystyle E_{n}}$ это ${\displaystyle z<X(t_{\nu })}$, так ${\displaystyle (X(b)\leqslant -X_{b}+2z)\Rightarrow (X(b)-X(t_{\nu })<-X_{b}+z)}$.

Аналогично, поскольку по определению ${\displaystyle E_{n}}$ это ${\displaystyle z<X(t_{\nu })}$, (2.4) действует:

(2.4) ${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })>X_{b}-z)\leqslant P(X(b)>X_{b})}$

(2.5)${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })<-X_{b}+z)=P(X(b)-X(t_{\nu })>X_{b}-z)}$

Сказанное выше объясняется тем, что случайная величина ${\displaystyle (X(b)-X(t_{\nu }))\thicksim N(\varnothing ;\ \ \sigma ^{2}(b-t_{\nu }))}$ имеет симметричную плотность вероятности по сравнению со средним значением, равным нулю.

Применяя последовательно отношения (2.3), (2.5) и (2.4) мы получили (2.6) :

(2.6) ${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$

С той же процедурой, что и для получения (2.3), (2.4) и (2.5) Воспользовавшись на этот раз отношениями ${\displaystyle X(t_{\nu })<z+\Delta z}$ мы получили (2.7):

(2.7) ${\displaystyle \ \ \ \ P(X(b)>X_{b})\leqslant P(X(b)-X(t_{\nu })>X_{b}-z-\Delta z)\ \ }$${\displaystyle =\ \ P(X(b)-X(t_{\nu })<-X_{b}+z+\Delta z)\leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

Применяя последовательно (2.6) и (2.7) мы получили:

(2.8) ${\displaystyle P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$ ${\displaystyle \leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

Из ${\displaystyle X_{b}>z+\Delta z>z}$, учитывая преемственность ${\displaystyle X(t)}$ и теорема о промежуточном значении мы получили ${\displaystyle X(b)>X_{b}>z+\Delta z>z\Rightarrow E_{n}}$ ,

что подразумевает ${\displaystyle P(X(b)>X_{b})=P(E_{n},X(b)>X_{b})}$.

Замена вышеперечисленного в (2.8) и переходя к пределам: ${\displaystyle \lim _{n\rightarrow +\ \infty }\ \ E_{n}(\Delta z)\rightarrow E(\Delta z)}$ и для ${\displaystyle \Delta z\rightarrow 0}$, мероприятие ${\displaystyle E(\Delta z)}$ сходится к ${\displaystyle \min _{a\leq t\leq b}X(t)\leqslant z}$

(2.9) ${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b})}$

${\displaystyle \forall \,dX_{b}>0}$, подставив ${\displaystyle (X_{b})}$ с ${\displaystyle (X_{b}-dX_{b})}$ в (2.9) получаем эквивалентное отношение:

(2.10)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z+dX_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b}-dX_{b})}$

Применяя Теорема Байеса на совместное мероприятие ${\displaystyle (\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

(2.11) ${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$ ${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Позволять ${\displaystyle B\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)\leq X_{b}\},\ C\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X_{b}-dX_{b}<X(b)\leq X_{b}\},\ D\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_{b}\},\ A\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{\min _{a\leq t\leq b}X(t)\leqslant z\}}$; из этих определений следует:

${\displaystyle \complement D=B\cup C\Rightarrow \ P(A,\complement D)=P(A,B\cup C)=P(A,B)+P(A,C)\Rightarrow P(A,C)=P(A,\complement D)-P(A,B)}$

(2.12)${\displaystyle \ \ \ \ P(A,C)=P(A,\complement D)-P(A,B)}$

Подстановка (2.12) в (2.11), получаем эквивалент:

(2.13)${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=(P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}-dX_{b})-P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}))\ \ /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Подстановка (2.9) и (2.10) в (2.13):

(2.14)${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle (P(X(b)\leqslant -X_{b}+2z+dX_{b})-P(X(b)\leqslant -X_{b}+2z)}$${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Можно заметить, что у второго члена группы (2.14) появляется распределение вероятностей случайной величины ${\displaystyle X(b)}$, нормально со средним ${\displaystyle X_{a}}$ электронная дисперсия ${\displaystyle \sigma ^{2}(b-a)}$.

Реализации ${\displaystyle X_{b}}$ и ${\displaystyle -X_{b}+2z}$ случайной величины ${\displaystyle X(b)}$ соответствуют соответственно плотностям вероятности:

(2.15) ${\displaystyle \ \ \ \ P(X_{b})\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

(2.16) ${\displaystyle \ \ \ \ P(-X_{b}+2z)\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

Подстановка (2.15) е (2.16) в (2.14) и принимая предел для ${\displaystyle dX_{b}\rightarrow 0}$ тезис доказан:

${\displaystyle F(z)=P(\min _{a\leq t\leq b}X(t)\leq z\ \ |\ \ X(b)=X_{b})=}$

${\displaystyle ={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$${\displaystyle \ \ \diagup \ \ {\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}=}$

${\displaystyle =\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}-(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}=}$${\displaystyle \ \ \exp {\biggl (}-2\ \ {\frac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}{\biggr )}}$

Библиография

• Универсальная стохастическая модель функции неизвестной и изменяющейся во времени формы - Гарольд Дж. Кушнер - Журнал математического анализа и приложений Том 5, выпуск 1, август 1962 г., страницы 150-167.
• Применение байесовских методов для поиска экстремума - Дж. Моцкус, Дж. Тиесис, А. Зилинскас - Конгресс ИФИП 1977 г., 8–12 августа Торонто.

Смотрите также

• Случайная переменная
• Вероятность
• Событие (теория вероятностей)
• Условная возможность
• Обычная условная вероятность
• Стохастический процесс
• Винеровский процесс

Примечания

1. Теорема, изложенная и показанная для случая минимума винеровского процесса, также применима к максимуму.

Рекомендации

1. Х. Дж. Кушнер, "Новый метод определения точки максимума произвольной многопиковой кривой в присутствии шума", J. Basic Eng 86 (1), 97–106 (1 марта 1964 г.).
2. Дарио Баллабио, «Новый класс стохастических алгоритмов для глобальной оптимизации», Миланский университет, Институт математики, докторская диссертация, представленная 12 июля 1978 г., стр. 29–33.
3. Янош Д. Пинтер, Глобальная оптимизация в действии: непрерывная и липшицевая оптимизация, Springer Science & Business Media 1996, стр. 57.