几乎必然收敛

在概率论中, 几乎必然收敛是随机变量的一种很强的收敛的概念. 大致来说, 称一列随机变量 $(X_n{)}_{n\ge 1}$ 几乎必然收敛到随机变量 $X$, 是指这列随机变量的取值, 也就是一个随机的实数列, 以概率 $1$ 收敛到 $X$ 的取值.

1定义

定义 1.1 (随机变量序列的几乎必然收敛). 设实值随机变量 $X$ 和实值随机变量序列 $(X_n{)}_{n\ge 1}$ 均定义在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 上. 如果$$\mathbb{P}(\underset{n\to \infty }{\lim }{X}_n=X)=1,$$则称 $(X_n)$ 几乎必然收敛到 $X$, 记为$$X_n\stackrel{a.s.}{\to }X.$$

严格地说, 上述定义中等式的含义是$$\mathbb{P}\{\omega \in \Omega |\underset{n\to \infty }{\lim }{X}_n(\omega )=X(\omega )\}=1.$$

另外, 也可以定义随机变量级数的几乎必然收敛.

定义 1.2 (随机变量级数的几乎必然收敛). 设实值随机变量 $X$ 和实值随机变量序列 $(X_n{)}_{n\ge 1}$ 均定义在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 上. 称随机变量级数$$\sum _{n=1}^{\infty }{X}_n$$几乎必然收敛到随机变量 $X$, 是指其部分和 $(S_n{)}_{n\ge 1}$ 几乎必然收敛到 $X$, 其中 $S_n=X_1+\cdots +X_n$.

2性质

基本性质

设 $X$ 和 $(X_n{)}_{n\ge 1}$ 分别是概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 上的随机变量和随机变量序列.

•	几乎必然收敛的定义等价于$$\mathbb{P}\left(\bigcap _{\epsilon >0}\bigcup _{k=1}^{\infty }\bigcap _{n=k}^{\infty }(|X_n-X|<\epsilon )\right)=1.$$换言之, 对任意 $\epsilon >0$, $$\underset{k\to \infty }{\lim }\mathbb{P}\left(\bigcup _{n=k}^{\infty }(|X_n-X|\ge \epsilon )\right)=0.$$

•	于是, 根据事件包含关系不难推出 $X_n\stackrel{a.s.}{\to }X$ 蕴含 $X_n\stackrel{p}{\to }X$.

•	结合事件无穷多次发生的概念 (参见 Borel–Cantelli 引理), $X_n\stackrel{a.s.}{\to }X$ 等价于对任意 $\epsilon >0$,$$\mathbb{P}(|X_n-X|\ge \epsilon i.o.)=0.$$

•	根据 Cauchy 收敛准则, $(X_n)$ 几乎必然收敛等价于存在一个概率为 $1$ 的集合 ${\Omega }_0$, 使得对任意 $\omega \in {\Omega }_0$ 和 $\epsilon >0$, 存在 $N=N(\omega ,\epsilon )$ 使得$$n_1,n_2\ge N\Rightarrow |X_{n_1}(\omega )-X_{n_2}(\omega )|<\epsilon .$$

•	如果 $X_n\stackrel{p}{\to }X$, 虽然无法推出几乎必然收敛, 但有子列 $(X_{n_k})$ 满足 $X_{n_k}\stackrel{a.s.}{\to }X$.

随机变量级数的几乎必然收敛

设 ${\sum }_{n=1}^{\infty }{X}_n$ 是随机变量级数. 我们显然可以通过上面的类似于 Cauchy 收敛准则的结论来判断几乎必然收敛性. 下面介绍更多的方法.

命题 2.1. 设 $(X_n{)}_{n\ge 1}$ 是随机变量序列, 满足对某个 $0<r\le 1$, ${\sum }_{n=1}^{\infty }\mathbb{E}|X_n{|}^r<\infty$. 则 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛.

证明. 根据 $C_r$ 不等式 (参见矩的内容), 有$$\mathbb{E}{\left(\sum _{n=1}^{\infty }|X_n|\right)}^r\le \sum _{n=1}^{\infty }\mathbb{E}|X_n{|}^r<\infty ,$$这表明 ${\sum }_{n=1}^{\infty }|X_n|$ 几乎必然收敛, 即 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然绝对收敛, 当然也就几乎必然收敛.

$\square$

在大数定律的讨论中常考虑相互独立的随机变量序列, 它们求和的收敛性是较为重要的. 接下来的目的是证明 Kolmogorov 著名的 “三级数定理”, 它把几乎必然收敛问题简化为验证三个数项级数收敛. 为此需要两个引理.

引理 2.2. 设 $(X_n{)}_{n\ge 1}$ 是相互独立的随机变量序列. 如果

•	$\mathbb{E}(X_n)=0,n\in \mathbb{N}$;

•	${\sum }_{n=1}^{\infty }\mathbb{E}(X_n^2)<\infty$,

则 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛.

证明.

证明. 记 $S_n={\sum }_{k=1}^n{X}_k$. 根据 Chebyshev 不等式和条件, 当 $m\ge n\to \infty$ 时, 有$$\begin{array}{rl}P(|S_m-S_n|\ge \epsilon )& \le \frac{1}{{\epsilon }^2}\mathrm{Var}\left(\sum _{k=n+1}^m{X}_k\right)\\ & =\frac{1}{{\epsilon }^2}\sum _{k=m+1}^n\mathbb{E}(X_k^2)\to 0.\end{array}$$也就是说存在随机变量 $S$ 使得 $S_n\stackrel{p}{\to }S$. 从而, 存在子列使得$$S_{n_k}\stackrel{a.s.}{\to }S$$进一步, 根据 Kolmogorov 不等式, $$\begin{array}{rl}\sum _{k=1}^{\infty }\mathbb{P}\left(\underset{n_k\le j\le n_{k+1}}{\max }|S_j-S_{n_k}|\ge \epsilon \right)& \le \frac{1}{{\epsilon }^2}\sum _{k=1}^{\infty }\sum _{j=n_k+1}^{n_{k+1}}\mathbb{E}(X_j^2)\\ & \le \frac{1}{{\epsilon }^2}\sum _{j=1}^{\infty }\mathbb{E}(X_j^2)<\infty .\end{array}$$令事件$$A_k=\left(\underset{n_k\le j\le n_{k+1}}{\max }|S_j-S_{n_k}|\ge \epsilon \right),k\in \mathbb{N},$$则 ${\sum }_{k=1}^{\infty }\mathbb{P}(A_k)<\infty$. 由 Borel–Cantelli 引理, 有 $\mathbb{P}(A_{n}i.o.)=0$. 因为 $\epsilon >0$ 是任意的, 故$$\underset{n_k\le j\le n_{k+1}}{\max }|S_j-S_{n_k}|⟶0a.s.,$$从而 $S_n\stackrel{a.s.}{\to }S$.

$\square$

在上述引理中, 还可以把第二个条件中的 $\mathbb{E}(X_n^2)$ 优化为 $\mathbb{E}|X_n{|}^r$, 其中 $1<r\le 2$.

引理 2.3. 设 $(X_n{)}_{n\ge 1}$ 是相互独立的随机变量序列. 如果它们一致有界, 即存在 $c>0$ 使得 $|X_n|\le c$ 对任意 $n\in \mathbb{N}$ 几乎必然成立, 则

•	如果 $\mathbb{E}(X_n)=0$, 且 ${\sum }_{n=1}^{\infty }\mathrm{Var}(X_n)=\infty$, 则 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然发散.

•	如果 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛, 则 ${\sum }_{n=1}^{\infty }\mathbb{E}(X_n)$ 和 ${\sum }_{n=1}^{\infty }\mathrm{Var}(X_n)$ 都收敛.

证明.

证明. 对于第一条, 对任意 $\epsilon >0$ 和 $n\in \mathbb{N}$, 由 Kolmogorov 不等式: $$\mathbb{P}\left(\underset{1\le k\le m}{\max }|X_{n+1}+\cdots +X_{n+k}|\ge \epsilon \right)\ge 1-\frac{(c+\epsilon {)}^2}{\sum _{k=n+1}^{n+m}\mathbb{E}(X_k^2)}.$$根据条件和 $\mathrm{Var}(X_k)=\mathbb{E}(X_k^2)$, 令 $m\to \infty$ 得$$\mathbb{P}\left(\underset{k\ge 1}{\max }|X_{n+1}+\cdots +X_{n+k}|\ge \epsilon \right)=1,$$也就得到 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然发散.

对于第二条, 先取与 $(X_n)$ 对应同分布且相互独立的序列 $(X_n^{\prime })$, 并令 ${\tilde{X}}_n=X_n-X_n^{\prime }$. 则$$|{\tilde{X}}_n|\le 2ca.s.,\mathbb{E}({\tilde{X}}_n)=0,\mathrm{Var}({\tilde{X}}_n)=2\mathrm{Var}(X_n).$$因为 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛, 故不难得出 ${\sum }_{n=1}^{\infty }{\tilde{X}}_n$ 也几乎必然收敛. 根据第一条, 有 $2{\sum }_{n=1}^{\infty }\mathrm{Var}(X_n)={\sum }_{n=1}^{\infty }\mathrm{Var}({\tilde{X}}_n)$ 收敛. 再根据引理 2.2, 有 ${\sum }_{n=1}^{\infty }(X_n-\mathbb{E}(X_n))$ 几乎必然收敛, 即得 ${\sum }_{n=1}^{\infty }\mathbb{E}(X_n)$ 收敛.

$\square$

现在可以证明三级数定理了.

定理 2.4 (三级数定理). 设 $(X_n)$ 为相互独立的随机变量序列. 则级数 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛的充要条件是: 存在 $c>0$, 使得

1.	${\sum }_{n=1}^{\infty }\mathbb{P}(|X_n|>c)<\infty$;
2.	${\sum }_{n=1}^{\infty }\mathbb{E}(X_{n}I(|X_n|\le c))$ 收敛;
3.	${\sum }_{n=1}^{\infty }\mathrm{Var}(X_{n}I(|X_n|\le c))<\infty$;

其中 $I(A)$ 表示事件 $A$ 的指示变量.

证明. 必要性. 如果 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛, 则 $X_n\stackrel{a.s.}{\to }0$ 设事件 $A_n=(|X_n|\ge c)$, 则 $\mathbb{P}(A_{n}i.o.)=0$. 因为 $(A_n)$ 是独立的事件序列, 所以由 Borel–Cantelli 引理, 必然有第一条成立. 记 $Y_n=X_{n}I(|X_n|\le c)$, 则第一条表明$$\sum _{n=1}^{\infty }\mathbb{P}(Y_n\ne X_n)=\sum _{n=1}^{\infty }P(|X_n|>c)<\infty ,$$由 Borel–Cantelli 引理, $\mathbb{P}(Y_n\ne X_{n}i.o.)=0$. 因为 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛, 所以 ${\sum }_{n=1}^{\infty }{Y}_n$ 也几乎必然收敛. 注意到 $(Y_n)$ 是一致有界的, 根据引理 2.3 得第二条和第三条成立.

充分性. 如果三个级数收敛, 仍按上述记号定义 $Y_n$, 则第一条表明 $\mathbb{P}(Y_n\ne X_{n}i.o.)=0$, 也就是说 ${\sum }_{n=1}^{\infty }{X}_n$ 与 ${\sum }_{n=1}^{\infty }{Y}_n$ 同几乎必然敛散性. 而引理 2.3 和第二、第三条说明后者是几乎必然收敛的, 故前者也是.

$\square$

在必要性的证明中没有指定 $c$ 的值, 实际上必要性可以加强为对任意的 $c$ 都成立.

我们最后讨论另一个定理, 它说明对于独立的随机变量级数, 实际上只要依概率收敛就够了. 先证明一个与中位数有关的引理.

引理 2.5 (Lévy 不等式). 设 $(X_n{)}_{n\ge 1}$ 为相互独立的随机变量序列, 令 $S_n={\sum }_{k=1}^n{X}_k$. 则对任意正数 $\epsilon$: $$\begin{gathered} \mathbb{P}\left(\underset{1\le k\le n}{\max }(S_k+m(S_n-S_k))\ge \epsilon \right)\le 2\mathbb{P}(S_n\ge \epsilon ), \\ \mathbb{P}\left(\underset{1\le k\le n}{\max }|S_k+m(S_n-S_k)|\ge \epsilon \right)\le 2\mathbb{P}(|S_n|\ge \epsilon ). \end{gathered}$$其中 $m(X)$ 表示随机变量 $X$ 的中位数.

证明.

证明. 先证明第一个式子. 令 $t$ 表示使得 $S_k+m(S_n-S_k)\ge \epsilon$ 成立的最小整数 $k\in \{1,\cdots ,n\}$. 如果这样的数不存在, 则令 $t=n+1$. 令事件 $B_k=(S_n-S_k\ge m(S_n-S_k))$, 则根据中位数的定义$$\mathbb{P}(B_k)\ge \frac{1}{2}.$$因为事件 $(t=k)$ 只与 $X_1,\cdots ,X_k$ 有关, $B_k$ 与 $X_{k+1},\cdots ,X_n$ 有关, 故它们是独立的. 另一方面: $$\begin{array}{rl}(S_n\ge \epsilon )& \supseteq (S_n\ge \epsilon ,t\le n)\\ & \supseteq \bigcup _{k=1}^n(t=k,S_n-S_k-m(S_n-S_k)\ge 0),\end{array}$$故$$\begin{array}{rl}\mathbb{P}(S_n\ge \epsilon )& \ge \sum _{k=1}^n\mathbb{P}(t=k)\mathbb{P}(B_k)\\ & \ge \frac{1}{2}\sum _{k=1}^n\mathbb{P}(t=k)\\ & =\frac{1}{2}\mathbb{P}(t\le n)\\ & =\frac{1}{2}\mathbb{P}\left(\underset{1\le k\le n}{\max }(S_k+m(S_n-S_k))\ge \epsilon \right).\end{array}$$第一个式子得证. 关于第二个式子, 实际上只需要把第一个式子对 $-X_1,\cdots ,-X_n$ 再用一遍就能得到.

$\square$

定理 2.6 (Lévy 定理). 设 $(X_n{)}_{n\ge 1}$ 为相互独立的随机变量序列. 则 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛的充要条件是它依概率收敛.

证明. 记 $S_n={\sum }_{k=1}^n{X}_k$. 显然只需要证明充分性. 如果 $S_n\stackrel{p}{\to }S$, 则可以取子列 $(S_{n_k})$ 使得$$\sum _{k=1}^{\infty }\mathbb{P}\left(|S_{n_k}-S|>2^{-k-1}\right)<\infty .$$根据 Borel–Cantelli 引理, 得到 $S_{n_k}\stackrel{a.s.}{\to }S$. 而且$$\sum _{k=1}^{\infty }\mathbb{P}\left(|S_{n_k}-S_{n_{k-1}}|>2^{-k}\right)<\infty .$$(1)根据引理 2.5, 对任意 $\epsilon >0$: $$\begin{array}{rl}& \mathbb{P}\left(\underset{n_{k-1}<n\le n_k}{\max }|S_n-S_{n_{k-1}}+m(S_{n_k}-S_n)|\ge \epsilon \right)\\ & =\mathbb{P}\left(\underset{n_{k-1}<n\le n_k}{\max }|S_n-S_{n_{k-1}}+m((S_{n_k}-S_{n_{k-1}})-(S_n-S_{n_{k-1}}))|\ge \epsilon \right)\\ & \le 2\mathbb{P}\left(|S_{n_k}-S_{n_{k-1}}|\ge \epsilon \right).\end{array}$$令 $\epsilon =2^{-k}$, 代入上面的级数 (1), 再使用 Borel–Cantelli 引理, 就得到$$\underset{n_{k-1}<n\le n_k}{\max }|S_n-S_{n_{k-1}}+m(S_{n_k}-S_n)|⟶0a.s..$$而$$|S_n-S+m(S_{n_k}-S_n)|\le |S_n-S_{n_{k-1}}+m(S_{n_k}-S_n)|+|S_{n_{k-1}}-S|,$$结合 $S_{n_k}\stackrel{a.s.}{\to }S$ 就得到$$\underset{n_{k-1}<n\le n_k}{\max }|S_n-S+m(S_{n_k}-S_n)|⟶0a.s..$$因为对 $n_k\ge n\to \infty$, 有 $S_{n_k}-S_n\stackrel{p}{\to }0$, 故 $m(S_{n_k}-S_n)\to 0$. 这就得到 $S_n\stackrel{a.s.}{\to }S$.

$\square$

术语翻译

几乎必然收敛 (名词) • 英文 almost sure convergence • 德文 fast sichere Konvergenz (f) • 法文 convergence presque sûre (f)

几乎必然收敛 (动词) • 英文 almost surely converge • 法文 converger presque sûrement