Цепи Маркова на измеримом пространстве состояний - Markov chains on a measurable state space

А Цепь Маркова на измеримом пространстве состояний это однородная по дискретному времени цепь Маркова с измеримое пространство как пространство состояний.

История

Определение цепей Маркова эволюционировало в течение 20 века. В 1953 г. термин «цепь Маркова» использовался для обозначения случайные процессы с дискретным или непрерывным набором индексов, живущим в счетном или конечном пространстве состояний, см. Doob.^[1] или Чанг.^[2] С конца 20-го века стало более популярным рассматривать цепь Маркова как стохастический процесс с дискретным набором индексов, живущий в измеримом пространстве состояний.^[3][4][5]

Определение

Обозначим через ${\displaystyle (E,\Sigma )}$ измеримое пространство и с ${\displaystyle p}$ а Марковское ядро с источником и целью ${\displaystyle (E,\Sigma )}$.Случайный процесс ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ на ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ называется однородной по времени марковской цепью с марковским ядром ${\displaystyle p}$ и начать распространение ${\displaystyle \mu }$ если

${\displaystyle \mathbb {P} [X_{0}\in A_{0},X_{1}\in A_{1},\dots ,X_{n}\in A_{n}]=\int _{A_{0}}\dots \int _{A_{n-1}}p(y_{n-1},A_{n})\,p(y_{n-2},dy_{n-1})\dots p(y_{0},dy_{1})\,\mu (dy_{0})}$

удовлетворяет любой ${\displaystyle n\in \mathbb {N} ,\,A_{0},\dots ,A_{n}\in \Sigma }$. Для любого марковского ядра и любой вероятностной меры можно построить ассоциированную цепь Маркова.^[4]

Замечание об интеграции с марковским ядром

Для любого мера ${\displaystyle \mu \colon \Sigma \to [0,\infty ]}$ обозначим для ${\displaystyle \mu }$-интегрируемая функция ${\displaystyle f\colon E\to \mathbb {R} \cup \{\infty ,-\infty \}}$ в Интеграл Лебега в качестве ${\displaystyle \int _{E}f(x)\,\mu (dx)}$. Для меры ${\displaystyle \nu _{x}\colon \Sigma \to [0,\infty ]}$ определяется ${\displaystyle \nu _{x}(A):=p(x,A)}$ мы использовали следующие обозначения:

${\displaystyle \int _{E}f(y)\,p(x,dy):=\int _{E}f(y)\,\nu _{x}(dy).}$

Основные свойства

Начиная с одной точки

Если ${\displaystyle \mu }$ это Мера Дирака в ${\displaystyle x}$, обозначим для марковского ядра ${\displaystyle p}$ со стартовой раздачей ${\displaystyle \mu }$ ассоциированную цепь Маркова как ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ на ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} _{x})}$ и ожидаемое значение

${\displaystyle \mathbb {E} _{x}[X]=\int _{\Omega }X(\omega )\,\mathbb {P} _{x}(d\omega )}$

для ${\displaystyle \mathbb {P} _{x}}$-интегрируемая функция ${\displaystyle X}$. По определению, тогда${\displaystyle \mathbb {P} _{x}[X_{0}=x]=1}$.

Для любой измеримой функции ${\displaystyle f\colon E\to [0,\infty ]}$ следующее соотношение:^[4]

${\displaystyle \int _{E}f(y)\,p(x,dy)=\mathbb {E} _{x}[f(X_{1})].}$

Семейство марковских ядер

Для марковского ядра ${\displaystyle p}$ со стартовой раздачей ${\displaystyle \mu }$ можно ввести семейство марковских ядер ${\displaystyle (p_{n})_{n\in \mathbb {N} }}$ к

${\displaystyle p_{n+1}(x,A):=\int _{E}p_{n}(y,A)\,p(x,dy)}$

за ${\displaystyle n\in \mathbb {N} ,\,n\geq 1}$ и ${\displaystyle p_{1}:=p}$. Для ассоциированной цепи Маркова ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ в соответствии с ${\displaystyle p}$ и ${\displaystyle \mu }$ можно получить

${\displaystyle \mathbb {P} [X_{0}\in A,\,X_{n}\in B]=\int _{A}p_{n}(x,B)\,\mu (dx)}$.

Стационарная мера

Вероятностная мера ${\displaystyle \mu }$ называется стационарной мерой марковского ядра ${\displaystyle p}$ если

${\displaystyle \int _{A}\mu (dx)=\int _{E}p(x,A)\,\mu (dx)}$

справедливо для любого ${\displaystyle A\in \Sigma }$. Если ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ на ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$обозначает цепь Маркова согласно марковскому ядру ${\displaystyle p}$ со стационарной мерой ${\displaystyle \mu }$, а распределение ${\displaystyle X_{0}}$ является ${\displaystyle \mu }$, то все ${\displaystyle X_{n}}$имеют одинаковое распределение вероятностей, а именно:

${\displaystyle \mathbb {P} [X_{n}\in A]=\mu (A)}$

для любого ${\displaystyle A\in \Sigma }$.

Обратимость

Марковское ядро ${\displaystyle p}$ называется обратимым по вероятностной мере ${\displaystyle \mu }$ если

${\displaystyle \int _{A}p(x,B)\,\mu (dx)=\int _{B}p(x,A)\,\mu (dx)}$

справедливо для любого ${\displaystyle A,B\in \Sigma }$.Замена ${\displaystyle A=E}$ показывает, что если ${\displaystyle p}$ обратимо согласно ${\displaystyle \mu }$, тогда ${\displaystyle \mu }$ должна быть стационарной мерой ${\displaystyle p}$.

Смотрите также

• Цепь Харриса
• Подсдвиг конечного типа

Рекомендации

1. Джозеф Л. Дуб: Стохастические процессы. Нью-Йорк: Джон Вили и сыновья, 1953.
2. Кай Л. Чунг: Марковские цепи со стационарными переходными вероятностями. Второе издание. Берлин: Springer-Verlag, 1974.
3. Шон Мейн и Ричард Л. Твиди: Марковские цепи и стохастическая устойчивость. 2-е издание, 2009 г.
4. Даниэль Ревуз: Цепи Маркова. 2-е издание, 1984 г.
5. Рик Дарретт: Вероятность: теория и примеры. Издание четвертое, 2005 г.