遍历定理

阐述

若 $P$ 是一个有限状态的不可约 Markov 链，令 $V_x(n)$ 是时间 $n$ 前访问 $x$ 的数量，则

\mathbb{P}\left(\frac{V_x(n)}{n} \stackrel{n \rightarrow \infty}{\rightarrow} \frac{1}{\mathbb{E}\left(\tau_x^{+}\right)}\right)=1

且对任何函数 $f:\mathcal X\to\mathbb R$ ，都有

\mathbb{P}\left(\frac{\sum_{i=0}^{n-1} f\left(X_i\right)}{n} \stackrel{n \rightarrow \infty}{\rightarrow} \mathbb E_{\pi}(f)\right)=1

而对于可数状态的不可约 Markov 链，第一式仍然成立，而第二式要求 $\pi$ 存在，也即 $P$ 是正常返的。

若 $P^t$ 是一个有限状态的不可约连续时间 Markov 链，则有

\mathbb P\left(\frac{1}{T} \int_0^T f\left(X_t\right)\mathrm dt \rightarrow \mathbb{E}_\pi(f)\right)=1

设一个不可约 Markov 链 $P$ 的稳态分布是 $\pi$ ，且 $A\subseteq\mathcal X$ 。定义 $T_i$ 是第 $i$ 次 $X_n$ 存在于 $A$ 的时间，则 $Y_i=X_{T_i}$ 也是一个 Markov 链。该链的分布可以从下式看出：

\frac{\pi(x)}{\pi(A)}=\lim _{n \rightarrow \infty} \frac{\sum I\left(X_i=x\right)}{\sum I\left(X_i \in A\right)}=\lim _{n \rightarrow \infty} \frac{1}{n} \sum I\left(Y_i=x\right)