5.2. 大数定律

给定一列随机变量 $X_1,X_2,\dots$, 记$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i,$$并将其称为样本均值. 大数定律所研究的, 就是当 $(X_n{)}_{n=1}^{\infty }$ 满足哪些条件时, 可以保证其样本均值 ${\overline{X}}_n$ 在 $n\to \infty$ 时能够收敛于一个确定性的实数; 这里的 “收敛” 可以是几乎必然收敛或依概率收敛, 也可以是概率论中其它有意义的收敛方式. 通常, 若在某些条件下, 我们证明了 ${\overline{X}}_n$ 几乎必然收敛于一个实数, 则相应的定理被称为一个强大数定律 (strong law of large numbers); 若证明的是 ${\overline{X}}_n$ 依概率收敛于一个实数, 则相应的定理被称为一个弱大数定律 (weak law of large numbers).

下面我们给出经典的 Kolmorogov 强大数定律.

定理 5.2.1 (Kolmorogov). 设 $X_1,X_2,\dots$ 为一列独立同分布的随机变量.

1.	若 $\mathbb{E}[X_1]$ 存在, 则有 ${\overline{X}}_n\stackrel{a.s.}{\to }\mathbb{E}[X_1]$, 也就是说, 事件$$\left\{\omega \in \Omega |\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n{X}_i\text{存在且等于}\mathbb{E}[X_1]\right\},$$的概率等于 $1$.
2.	反之, 若 ${\overline{X}}_n$ 在 $n\to \infty$ 时几乎必然收敛于某个实数, 则 $\mathbb{E}[X_1]$ 必定存在.

Kolmogorov 强大数定律的完整证明超出本讲义的范围, 这里只对其结论进行介绍, 而在第 5.4 节第 2 小节中将给出一个较弱版本的强大数定律的证明.

接下来我们介绍一个较为一般的弱大数定律.

定理 5.2.2 (Feller). 设 $X_1,X_2,\dots$ 为一列独立同分布的随机变量.

1.

若$$\underset{x\to +\infty }{\lim }x\mathbb{P}(|X_1|>x)=0\text{且}\mu =\underset{n\to \infty }{\lim }\mathbb{E}\left[X_1{1}_{\{|X_1|\le n\}}\right]\text{存在},$$则 ${\overline{X}}_n\stackrel{P}{\to }\mu$, 也就是说, 给定任意 $ϵ>0$, 均有$$\underset{n\to \infty }{\lim }\mathbb{P}\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|>ϵ\right)=0.$$特别是, 若 $\mathbb{E}[X_1]$ 存在, 则 ${\overline{X}}_n\stackrel{P}{\to }\mu =\mathbb{E}[X_1]$.

2.

反之, 若存在某个实数 $\mu$ 使得 ${\overline{X}}_n\stackrel{P}{\to }\mu$, 则$$\underset{x\to +\infty }{\lim }x\mathbb{P}(|X_1|>x)=0\text{且}\underset{n\to \infty }{\lim }\mathbb{E}\left[X_1{1}_{\{|X_1|\le n\}}\right]\text{存在}.$$

Feller 弱大数定律的证明同样超出了本讲义的范围. 这里我们给出如下 Chebyshev 弱大数定律的证明:

定理 5.2.3 (Chebyshev). 设 $X_1,X_2,\dots$ 为一列独立同分布的随机变量, 且 $\mathrm{Var}(X_1)$ 存在. 则 ${\overline{X}}_n\stackrel{P}{\to }\mathbb{E}[X_1]$.

为了证明 Chebyshev 弱大数定律, 我们先做一些准备.

引理 5.2.4.

1.	Markov 不等式: 设随机变量 $X$ 非负, 且 $\mathbb{E}[X]$ 存在, 则对任意 $t>0$, 有$$\mathbb{P}(X\ge t)\le \frac{\mathbb{E}[X]}{t}.$$
2.	Chebyshev 不等式: 设随机变量 $X$ 的方差 $\mathrm{Var}(X)$ 存在, 则对任意 $t>0$, 有$$\mathbb{P}\left(|X-\mathbb{E}[X]|\ge t\right)\le \frac{\mathrm{Var}(X)}{t^2}.$$

证明.

1.

注意到待证不等式等价于 $t\cdot \mathbb{P}(X\ge t)\le \mathbb{E}[X],\forall t>0$, 而$$t\cdot \mathbb{P}(X\ge t)=t\cdot \mathbb{E}\left[1_{\{X\ge t\}}\right]=\mathbb{E}\left[t\cdot 1_{\{X\ge t\}}\right].$$因此 $t\cdot \mathbb{P}(X\ge t)\le \mathbb{E}[X]$ 的一个充分条件是 $t\cdot 1_{\{X\ge t\}}\le X$. 现任取 $\omega \in \Omega$, 则$$X(\omega )-t\cdot 1_{\{X\ge t\}}(\omega )=\{\begin{array}{ll}X(\omega )-t,& X(\omega )\ge t,\\ X(\omega ),& X(\omega )<t\end{array}$$上式右端始终非负, 故 $t\cdot 1_{\{X\ge t\}}\le X$, 从而待证不等式成立.

2.

令 $Y=(X-\mathbb{E}[X]{)}^2$, 则有$$\mathbb{P}\left(|X-\mathbb{E}[X]|\ge t\right)=\mathbb{P}(Y\ge t^2)\le \frac{\mathbb{E}[Y]}{t^2}=\frac{\mathrm{Var}(X)}{t^2},$$其中的不等号利用了 Markov 不等式. $\square$

在得到 Chebyshev 不等式之后, Chebyshev 弱大数定律的证明就变得比较直接了.

Chebyshev 弱大数定律的证明. 记 ${\sigma }^2=\mathrm{Var}(X_1)$, 并令 $Y_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$, 则有$$\mathbb{E}[Y_n]=\frac{1}{n}\sum _{i=1}^n\mathbb{E}[X_i]=\frac{1}{n}\sum _{i=1}^n\mu =\mu ,$$且由 $X_1,X_2,\dots$ 的独立性, 有$$\mathrm{Var}(Y_n)=\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}(X_i)=\frac{1}{n^2}\sum _{i=1}^n{\sigma }^2=\frac{{\sigma }^2}{n}.$$则由 Chebyshev 不等式, 可得$$\mathbb{P}\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|\ge ϵ\right)=\mathbb{P}(|Y_n-\mu |\ge ϵ)\le \frac{\mathbb{E}[Y_n]}{{ϵ}^2}=\frac{{\sigma }^2}{n{ϵ}^2}.$$令上式中 $n\to \infty$, 即得到待证结论.

$\square$

以 Kolmogorov 强大数定律为代表的各种大数定律是现代概率论的重要成果, 为概率的频率诠释 (即概率代表频率在试验次数趋于无穷时的极限) 提供了重要依据. 例如, 考虑最简单的独立重复掷骰子试验, 我们用随机变量 $X_n$ 代表第 $n$ 次投掷的点数, 则

1.	${\overline{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 为前 $n$ 次试验投出的点数的平均值. 由于 $X_1,X_2,\dots$ 独立同分布且期望存在, 由 Kolmogorov 强大数定律可得$$\underset{n\to \infty }{\lim }{\overline{X}}_n=\mathbb{E}[X_1]=\frac{1+2+\cdots +6}{6}=\frac{7}{2}$$以概率 $1$ (也就是几乎必然) 成立.
2.	对任意 $\{1,2,\dots ,6\}$ 的子集 $A$, 令$${\mathrm{Fr}}_n(A)=\frac{1}{n}\sum _{i=1}^n{1}_{\{X_i\in A\}},$$即 ${\mathrm{Fr}}_n(A)$ 为 $n$ 次投掷后点数属于集合 $A$ 的频率. 由于 $1_{\{X_1\in A\}},1_{\{X_2\in A\}},\dots$ 独立同分布且期望存在, 由 Kolmogorov 强大数定律可得$$\underset{n\to \infty }{\lim }{\mathrm{Fr}}_n(A)=\mathbb{E}[1_{\{X_1\in A\}}]=\mathbb{P}(X_1\in A).$$以概率 $1$ 成立. 换句话说, 频率 ${\mathrm{Fr}}_n(A)$ 几乎必然收敛于概率 $\mathbb{P}(X_1\in A)$.
3.	现固定一 $\{1,2,\dots ,6\}$ 的非空子集 $B$, 再任取 $\{1,2,\dots ,6\}$ 的非空子集 $A$, 我们把 $n$ 次投掷中点数属于 $B$ 的那几次挑出来, 并计算其中点数同时属于 $A$ 的次数的占比 (暂时将其称作 “条件频率”): $$\frac{{\sum }_{i=1}^n{1}_{\{X_i\in A\cap B\}}}{{\sum }_{i=1}^n{1}_{\{X_i\in B\}}}=\frac{{\mathrm{Fr}}_n(A\cap B)}{{\mathrm{Fr}}_n(B)},$$而由 Kolmogorov 强大数定律可得$$\underset{n\to \infty }{\lim }\frac{{\mathrm{Fr}}_n(A\cap B)}{{\mathrm{Fr}}_n(A)}=\frac{\mathbb{P}(X_1\in A\cap B)}{\mathbb{P}(X_1\in B)}=\mathbb{P}\left(X_1\in A|X_1\in B\right)$$以概率 $1$ 成立, 这意味着条件频率也几乎必然收敛于条件概率.

此外, 大数定律也为数理统计中众多点估计方法 (例如矩方法) 等提供了基本的理论依据.