5.4. (⋆) 一些定理的证明

几乎处处收敛与依概率收敛

本小节将证明定理 5.1.2, 即几乎必然收敛蕴含依概率收敛.

任取 $ϵ>0$, 记$$E=\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }{X}_n(\omega )\text{存在且等于}X(\omega )\right\}.$$则由极限的定义, 可得$$\begin{array}{rl}{E}^c& =\left\{\text{存在 ϵ0>0, 使得对任意正整数 N, 存在 n≥N 使 ∣Xn−X∣≥ϵ0}\right\}\\ & =\bigcup _{{ϵ}_0>0}\left\{\text{对任意正整数 N , 存在 n≥N 使 ∣Xn−X∣>ϵ0}\right\}\\ & \supseteq \left\{\text{对任意正整数 N, 存在 n≥N 使 ∣Xn−X∣>ϵ}\right\}\\ & =\bigcap _{N=1}^{\infty }\left\{\text{存在 n≥N 使 ∣Xn−X∣>ϵ}\right\}=\bigcap _{N=1}^{\infty }\bigcup _{n=N}^{\infty }\left\{|X_n-X|>ϵ\right\}.\end{array}$$由于 $\mathbb{P}(E^c)=0$, 故上式最右端事件的概率也为 $0$. 记 $A_N={\bigcup }_{n=N}^{\infty }\{|X_n-X|>ϵ\}$, 则有 $A_1\supseteq A_2\supseteq A_3\supseteq \cdots$, 故由概率的单调连续性可得$$0=\mathbb{P}\left(\bigcap _{N=1}^{\infty }\bigcup _{n=N}^{\infty }\left\{|X_n-X|>ϵ\right\}\right)=\mathbb{P}\left(\bigcap _{N=1}^{\infty }{A}_N\right)=\underset{N\to \infty }{\lim }\mathbb{P}(A_N).$$另一方面, $A_N\supseteq \{|X_N-X|>ϵ\}$, 因此 $\mathbb{P}(|X_N-X|>ϵ)\le \mathbb{P}(A_N)$, 再令 $N\to \infty$ 即得到$$\underset{N\to \infty }{\lim }P(|X_N-X|>ϵ)=0.$$由 $ϵ>0$ 的任意性可知 $X_n\stackrel{P}{\to }X$.

Borel–Cantelli 引理与强大数定律

Borel–Cantelli 第一与第二引理是概率论中用于研究随机变量序列几乎必然收敛性的基础工具. 本节中我们对 Borel–Cantelli 第一引理做简要介绍, 并进一步证明一个较弱的强大数定律.

引理 5.4.1 (Borel–Cantelli 第一引理). 设 $A_n,n\in {\mathbb{N}}_{+}$ 为一列事件, 且级数 ${\sum }_{n=1}^{\infty }\mathbb{P}(A_n)$ 收敛, 则事件$$\left\{\omega \in \Omega \mid \text{存在无穷多个正整数 n , 使得 ω∈An}\right\}.$$的概率为 $0$.

证明. 记 $B=\{\omega \in \Omega \mid \text{存在无穷多个正整数 n, 使得 ω∈An}\}$, 则有$$\begin{array}{rl}B& =\left\{\omega \in \Omega \mid \text{对任意正整数 k, 均存在 n≥k, 使得 ω∈An}\right\}\\ & =\bigcap _{k=1}^{\infty }\left\{\omega \in \Omega \mid \text{存在 n≥k, 使得 ω∈An}\right\}\\ & =\bigcap _{k=1}^{\infty }\bigcup _{n=k}^{\infty }{A}_n.\end{array}$$记 $C_k={\bigcup }_{n=k}^{\infty }{A}_n$, 则有 $C_1\supseteq C_2\supseteq C_3\supseteq \cdots$ 以及 $B={\bigcap }_{k=1}^{\infty }{C}_k$, 因而由概率的单调连续性可得$$\mathbb{P}(B)=\underset{k\to \infty }{\lim }\mathbb{P}(C_k).$$另一方面, 令 $D_{k,j}={\bigcup }_{n=k}^j{A}_n$, 则有 $D_{k,k}\subseteq D_{k,k+1}\subseteq D_{k,k+2}\subseteq \cdots$, 以及$$\bigcup _{j=k}^{\infty }{D}_{k,j}=\bigcup _{j=k}^{\infty }\bigcup _{n=k}^j{A}_n=\bigcup _{n=k}^{\infty }{A}_n,$$故由概率的单调连续性以及次可加性可得$$\mathbb{P}(C_k)=\underset{j\to \infty }{\lim }\mathbb{P}\left(D_{k,j}\right)=\underset{j\to \infty }{\lim }\mathbb{P}\left(\bigcup _{n=k}^j{A}_n\right)\le \underset{j\to \infty }{\lim }\sum _{n=k}^j\mathbb{P}\left(A_n\right)=\sum _{n=k}^{\infty }\mathbb{P}\left(A_n\right),$$从而$$\mathbb{P}(B)=\underset{k\to \infty }{\lim }\mathbb{P}(C_k)\le \underset{k\to \infty }{\lim }\sum _{n=k}^{\infty }\mathbb{P}(A_n)=0,$$其中最后一步用到了级数 ${\sum }_{n=1}^{\infty }\mathbb{P}(A_n)$ 的收敛性.

$\square$

下面我们将证明如下强大数定律, 该定理及证明取自 [6] 第 7.4 节定理 (3):

定理 5.4.2. 设 $X_1,X_2,\dots$ 为一列独立同分布的随机变量, 且 $\mathbb{E}[X_1]$ 与 $\mathrm{Var}(X_1)$ 均存在. 则有 ${\overline{X}}_n\stackrel{a.s.}{\to }\mathbb{E}[X_1]$, 也就是说事件$$\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n{X}_i\text{存在且等于}\mathbb{E}[X_1]\right\}$$的概率为 $1$.

证明. 首先考虑 $X_n$ 均为非负变量的情形. 记 $\mu =\mathbb{E}[X_1]$, ${\sigma }^2=\mathrm{Var}(X_1)$. 由切比雪夫不等式, 可得对于任意 $ϵ>0$, 有$$\mathbb{P}\left(\left|{\overline{X}}_{n^2}-\mu \right|>ϵ\right)\le \frac{\mathrm{Var}\left({\overline{X}}_{n^2}\right)}{{ϵ}^2}=\frac{{\sigma }^2}{n^2ϵ}.$$令$$A_{ϵ,n}=\left\{\left|{\overline{X}}_{n^2}-\mu \right|>ϵ\right\},$$则$$\sum _{n=1}^{\infty }\mathbb{P}(A_{ϵ,n})\le \frac{{\sigma }^2}{ϵ}\sum _{n=1}^{\infty }\frac{1}{n^2},$$故级数 ${\sum }_{n=1}^{\infty }\mathbb{P}(A_{ϵ,n})$ 收敛. 由 Borel–Cantelli 第一引理可得, 对任意 $ϵ>0$, 事件$$\begin{array}{rl}{B}_{ϵ}& =\left\{\omega \in \Omega \mid \text{存在无穷多正整数 n 使得 ω∈Aϵ,n}\right\}\\ & =\left\{\text{存在无穷多正整数 n 使得 ∣∣Xn2−μ∣∣>ϵ}\right\}\end{array}$$的概率为 $0$. 另一方面, 若记事件$$\tilde{E}=\left\{\underset{n\to \infty }{\lim }{\overline{X}}_{n^2}\text{存在且等于}\mu \right\},$$则根据极限定义, 有$$\begin{array}{rl}{\tilde{E}}^c& =\left\{\text{存在 ε0>0, 使得对任意正整数 N, 存在 n≥N 使 ∣∣Xn2−μ∣∣>ϵ0}\right\},\\ & =\left\{\text{存在 ε0>0, 使得 ∣∣Xn2−μ∣∣>ϵ0 对无穷多个正整数 n 成立}\right\}\\ & =\left\{\text{存在正整数 k, 使得 ∣∣Xn2−μ∣∣>k1 对无穷多个正整数 n 成立}\right\}\\ & =\bigcup _{k=1}^{\infty }\left\{\left|{\overline{X}}_{n^2}-\mu \right|>\frac{1}{k}\text{对无穷多个正整数 n 成立}\right\}=\bigcup _{k=1}^{\infty }{B}_{\frac{1}{k}}.\end{array}$$不难看出对任意正整数 $k$ 均有 $B_{\frac{1}{k}}\subseteq B_{\frac{1}{k+1}}$, 因此由概率的连续性, $$\mathbb{P}\left({\tilde{E}}^c\right)=\underset{k\to \infty }{\lim }\mathbb{P}\left(B_{\frac{1}{k}}\right)=0.$$也就是说, 事件 $\tilde{E}$ 的概率为 $1$.

下面我们将证明对任意的 $\omega \in \tilde{E}$, 不仅 ${\overline{X}}_{n^2}(\omega )$ 收敛于 $\mu$, 而且 ${\overline{X}}_n(\omega )$ 也同样收敛于 $\mu$. 对任意正整数 $k$, 记 $n(k)$ 为满足 $n(k{)}^2\le k$ 的最大正整数. 任取 $\omega \in \tilde{E}$, 则由 $X_n$ 的非负性, 可得$$\sum _{i=1}^{n(k{)}^2}{X}_i(\omega )\le \sum _{i=1}^k{X}_i(\omega )\le \sum _{i=1}^{(n(k)+1{)}^2}{X}_i(\omega ),$$将上式除以 $k$, 即可得到$$\frac{n(k{)}^2}{k}{\overline{X}}_{n(k{)}^2}(\omega )\le {\overline{X}}_k(\omega )\le \frac{(n(k)+1{)}^2}{k}{\overline{X}}_{(n(k)+1{)}^2}(\omega ),$$令上式 $k\to \infty$ 并注意到 $n(k{)}^2/k\to 1$ 以及 $(n(k)+1{)}^2/k\to 1$, 即可由极限的夹挤原理得到$$\underset{k\to \infty }{\lim }{\overline{X}}_k(\omega )=\underset{n\to \infty }{\lim }{\overline{X}}_{n^2}(\omega )=\mu .$$由 $\omega \in \tilde{E}$ 的任意性, 可得事件$$\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }{\overline{X}}_n\text{存在且等于}\mu \right\}$$就等于事件 $\tilde{E}$, 从而其概率为 $1$.

以上证明假定了 $X_n$ 均为非负随机变量. 对于一般情形, 考虑 $X_n^{+}=\max \{X_n,0\}$ 以及 $X_n^{-}=\max \{-X_n,0\}$. 由于$$0\le X_n^{+}\le |X_n|,0\le X_n^{-}\le |X_n|,$$故 $\mathbb{E}[X_n]$ 与 $\mathrm{Var}(X_n)$ 的存在性保证了 $\mathbb{E}[X_n^{+}]$ 与 $\mathbb{E}[X_n^{-}]$ 以及 $\mathrm{Var}(X_n^{+})$ 与 $\mathrm{Var}(X_n^{-})$ 的存在性. 令$${\overline{X}}_n^{+}=\frac{1}{n}\sum _{i=1}^n{X}_i^{+},{\overline{X}}_n^{-}=\frac{1}{n}\sum _{i=1}^n{X}_i^{-},$$并令$$\begin{array}{rl}{E}_{+}& =\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }{\overline{X}}_n^{+}\text{存在且等于}\mathbb{E}[X_1^{+}]\right\},\\ E_{-}& =\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }{\overline{X}}_n^{-}\text{存在且等于}\mathbb{E}[X_1^{-}]\right\},\\ E& =\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }{\overline{X}}_n\text{存在且等于}\mathbb{E}[X_1]\right\},\end{array}$$则有 $\mathbb{P}(E_{+})=\mathbb{P}(E_{-})=1$, 以及 $E_{+}\cap E_{-}\subseteq E$, 从而$$\mathbb{P}(E^c)=\mathbb{P}(E_{+}^c\cup E_{-}^c)\le \mathbb{P}(E_{+}^c)+\mathbb{P}(E_{-}^c)=0,$$即 $\mathbb{P}(E)=1$.

$\square$