大数定律

大数定律是概率论中的一系列结论. 古典的大数定律是指如下观察: 进行关于某随机事件的试验, 则在试验的次数趋于无穷时, 随机事件发生的频率将会趋于该事件概率. 比如, 抛掷一枚普通的硬币, 记录每次朝上的面, 则抛掷次数足够大时, 正面朝上的频率, 即正面朝上的次数与总次数的比值, 将越来越接近于正面朝上的概率 $1/2$.

在现代的概率论中, 大数定律可以严格地表述成一系列定理, 描述随机变量求和在项数趋于无穷时的规律.

1定义

大数定律分为弱大数定律和强大数定律两种. 前者讨论依概率收敛, 而后者讨论几乎必然收敛.

定义 1.1 (弱大数定律). 设 $(X_n{)}_{n\ge 1}$ 为一列实值随机变量, 令 $S_n={\sum }_{k=1}^n{X}_k$. 如果存在实数序列 $(a_n{)}_{n\ge 1}$ 和正数序列 $(b_n{)}_{n\ge 1}$, 使得有依概率收敛$$\frac{S_n-a_n}{b_n}\stackrel{p}{\to }0,$$或者说$$\underset{n\to \infty }{\lim }\mathbb{P}\left(\left|\frac{S_n-a_n}{b_n}\right|\ge \epsilon \right)=0,\forall \epsilon >0,$$则称 $(X_n)$ 服从弱大数定律.

如果 $X_n$ 的期望存在, 则常令 $a_n=\mathbb{E}(S_n),b_n=n$, 讨论随机变量$$\frac{S_n-\mathbb{E}(S_n)}{n}$$的收敛问题.

定义 1.2 (强大数定律). 设 $(X_n{)}_{n\ge 1}$ 为一列实值随机变量, 令 $S_n={\sum }_{k=1}^n{X}_k$. 如果存在实数序列 $(a_n{)}_{n\ge 1}$ 和递增趋于无穷的正数序列 $(b_n{)}_{n\ge 1}$, 使得有几乎必然收敛$$\frac{S_n-a_n}{b_n}⟶0a.s.$$则称 $(X_n)$ 服从强大数定律.

注意到, 强大数定律强于弱大数定律, 因为几乎必然收敛强于依概率收敛.

2弱大数定律

定理 2.1 (Markov 弱大数定律). 如果随机变量序列 $(X_n)$ 满足$$\underset{n\to \infty }{\lim }\frac{\mathrm{Var}(S_n)}{n^2}=0$$则$$\frac{S_n-\mathbb{E}(S_n)}{n}\stackrel{p}{\to }0$$

证明. 对任意 $\epsilon >0$, 根据 Chebyshev 不等式: $$\begin{array}{rl}\mathbb{P}\left(\left|\frac{S_n-\mathbb{E}(S_n)}{n}\right|\ge \epsilon \right)& =\mathbb{P}(|S_n-\mathbb{E}(S_n)|\ge n\epsilon )\\ & \le \frac{\mathbb{E}(S_n-\mathbb{E}(S_n){)}^2}{n^2{\epsilon }^2}\\ & =\frac{1}{{\epsilon }^2}\frac{\mathrm{Var}(S_n)}{n^2}\to 0\end{array}$$

$\square$

推论 2.2 (Chebyshev 弱大数定律). 如果随机变量序列 $(X_n)$ 中的随机变量两两不相关 (即协方差为零), 且存在 $C>0$ 使得 $\mathrm{Var}(X_n)\le C$, 则$$\frac{S_n-\mathbb{E}(S_n)}{n}\stackrel{p}{\to }0$$

证明. 根据不相关性, $\mathrm{Var}(S_n)={\sum }_{k=1}^n\mathrm{Var}(X_k)\le nC$, 从而 $\frac{\mathrm{Var}(S_n)}{n^2}\to 0$. 根据定理 2.1 就得证.

$\square$

因为不相关性弱于独立性, 所以上述结果对相互独立随机变量当然也成立.

推论 2.3 (Bernoulli 弱大数定律). 用 $Z_n$ 表示 $n$ 次 Bernoulli 试验中成功的次数, $p$ 为成功概率, 则$$\frac{Z_n}{n}\stackrel{p}{\to }p$$

这就是大数定律的最初版本.

以上讨论的大数定律均对方差有一定要求. 实际上, 如果只要求 期望存在, 也有弱大数定律.

定理 2.4 (Khintchine 弱大数定律). 设 $(X_n)$ 为独立同分布随机变量序列. 如果 $\mathbb{E}(X_1)=\mu$, 则$$\frac{S_n}{n}\stackrel{p}{\to }\mu$$

证明. 对于常数 $c$, 我们知道 $X_n\stackrel{p}{\to }c$ 和 $X_n\stackrel{d}{\to }c$ 是等价的, 所以只要证明$$\frac{S_n-n\mu }{n}\stackrel{d}{\to }0$$这可以通过计算特征函数得到. 令 $Y_k=\frac{1}{n}(X_k-\mu )$, 则 $\frac{S_n-n\mu }{n}={\sum }_{k=1}^n{Y}_k$. 设 $\varphi (t)$ 是 $Y_1$ 的特征函数, 则 $\frac{S_n-n\mu }{n}$ 的特征函数是 ${\varphi }^n(t)$.
现在考虑函数 $\varphi (t)$, 因为 $E(X_1-\mu )=0$, 故根据特征函数的 Taylor 展开, 有$$\varphi (t)=1+o(t/n),n\to \infty$$从而$${\varphi }^n(t)=(1+o(t/n){)}^n\to 1,n\to \infty$$这就证明了依分布收敛性, 从而成立.

$\square$

最后举一个序列 $b_n\ne n$ 的例子. 考虑一列袋子, 第 $k$ 个袋子中装着一个白球和 $k-1$ 个黑球. 用 $Z_n$ 表示: 在前 $n$ 个袋子中各拿一个球, 其中白球的个数. 则可以证明: 对任意 $r>\frac{1}{2}$ 有$$\frac{Z_n-\mathbb{E}(Z_n)}{{\ln }^{r}n}\stackrel{p}{\to }0$$

3强大数定律

强大数定律的证明过程明显比弱的版本困难. 首先是证明了四阶矩存在和方差存在的情形, 然后才由 Kolmogorov 证明了期望存在的情形.

先列举一些在证明中需要使用的结论.

引理 3.1 (Kronecker 引理). 设 $(x_n)$ 为实数列, $(b_n)$ 为递增趋于无穷的正数列. 如果级数 ${\sum }_{n=1}^{\infty }\frac{x_n}{b_n}$ 收敛, 则$$\underset{n\to \infty }{\lim }\frac{1}{b_n}\sum _{k=1}^n{x}_k=0$$

定理 3.2 (三级数定理). 设 $(X_n)$ 为相互独立的随机变量序列. 则级数 ${\sum }_{n=1}^{\infty }{X}_n$ 几乎必然收敛的充要条件是: 存在 $c>0$, 使得

1.	${\sum }_{n=1}^{\infty }\mathbb{P}(|X_n|>c)<\infty$;
2.	${\sum }_{n=1}^{\infty }\mathbb{E}(X_{n}I(|X_n|\le c))$ 收敛;
3.	${\sum }_{n=1}^{\infty }\mathrm{Var}(X_{n}I(|X_n|\le c))<\infty$;

其中 $I(A)$ 表示事件 $A$ 的指示变量.

通过这些结论和 “截尾法” 就可以证明强大数定律了.

定理 3.3 (Kolmogorov 强大数定律). 设 $(X_n)$ 是独立同分布的随机变量序列, 则存在常数 $a$ 使得$$\frac{S_n-na}{n}⟶0a.s.$$的充要条件是 $\mathbb{E}|X_1|<\infty ,\mathbb{E}(X_1)=a$.

证明. 必要性. 如果 $S_n/n\stackrel{a.s.}{\to }a$, 则$$\frac{X_n}{n}=\frac{S_n-S_{n-1}}{n}=\frac{S_n}{n}-\frac{n-1}{n}\frac{S_{n-1}}{n-1}\to 0,a.s.$$于是对任意 $\epsilon >0$: $$\mathbb{P}(|X_n|\ge n\epsilon i.o.)=\mathbb{P}\left(\frac{|X_n|}{n}\ge \epsilon i.o.\right)=0$$其中$$A_{n}i.o.=\bigcap _{k=1}^{\infty }\bigcup _{n=k}^{\infty }{A}_n$$表示事件序列 $\{A_n\}$ 中有无穷多个发生的事件. 令 $\epsilon =1$, 根据 Borel–Cantelli 引理, 有$$\sum _{n=1}^{\infty }\mathbb{P}(|X_1|\ge n)<\infty$$也就是 $\mathbb{E}|X_1|<\infty$. 因为 $\mathbb{E}\left(\frac{S_n}{n}\right)=\mathbb{E}(X_1)$, 所以 $\mathbb{E}(X_1)=a$.
充分性. 记 $Y_n=X_{n}I(|X_n|<n)$, 则$$\sum _{n=1}^{\infty }\mathbb{P}(Y_n\ne X_n)=\sum _{n=1}^{\infty }\mathbb{P}(|X_n|\ge n)=\mathbb{E}|X_1|<\infty$$由 Borel–Cantelli 引理, $\mathbb{P}(Y_n\ne X_{n}i.o.)=0$. 从而为了证明结论, 只要证明$$\frac{1}{n}\left(\sum _{k=1}^n{Y}_k-na\right)⟶0a.s.$$而 $\mathbb{E}(Y_n)=\mathbb{E}(X_{n}I(|X_n|<n))\to a,n\to \infty$, 故由 Stolz 定理可得 $\frac{1}{n}{\sum }_{k=1}^n\mathbb{E}(Y_k)\to a,n\to \infty$. 从而只要证明$$\frac{1}{n}\sum _{k=1}^n(Y_k-\mathbb{E}(Y_k))⟶0a.s.$$(1)下面验证定理 3.2 的条件. 注意到$$\frac{|Y_n-\mathbb{E}(Y_n)|}{n}\le 2,\mathbb{E}\frac{Y_n-\mathbb{E}(Y_n)}{n}=0$$且$$\begin{array}{rl}\sum _{n=1}^{\infty }\mathrm{Var}\left(\frac{Y_n-\mathbb{E}(Y_n)}{n}\right)& =\sum _{n=1}^{\infty }\frac{1}{n^2}(\mathbb{E}(Y_n^2)-\mathbb{E}(Y_n{)}^2)\\ & \le \sum _{n=1}^{\infty }\frac{1}{n^2}\mathbb{E}(Y_n^2)\\ & =\sum _{n=1}^{\infty }\frac{1}{n^2}\mathbb{E}(X_1^{2}I(|X_1|<n))\\ & =\sum _{n=1}^{\infty }\frac{1}{n^2}\sum _{k=1}^n\mathbb{E}(X_1^{2}I(k-1\le |X_1|<k))\\ & \le \sum _{n=1}^{\infty }\frac{1}{n^2}\sum _{k=1}^n{k}^2\mathbb{P}(k-1\le |X_1|<k)\\ & =\sum _{k=1}^{\infty }{k}^2\mathbb{P}(k-1\le |X_1|<k)\sum _{n=k}^{\infty }\frac{1}{n^2}\\ & \le 2\sum _{k=1}^{\infty }k\mathbb{P}(k-1\le |X_1|<k)\\ & \le 2(1+\mathbb{E}(X_1))<\infty \end{array}$$根据定理 3.2, 得$$\sum _{n=1}^{\infty }\frac{Y_n-\mathbb{E}(Y_n)}{n}$$几乎必然收敛. 再根据引理 3.1, 得 (1) 式成立.

$\square$

上述定理还能进行推广.

定理 3.4 (Marcinkiewicz 强大数定律). 设 $(X_n)$ 是独立同分布的随机变量序列, $r\in (0,2)$, 则存在常数 $a$ 使得$$\frac{S_n-na}{n^{\frac{1}{r}}}\stackrel{a.s.}{\to }0$$的充要条件是 $\mathbb{E}|X_1{|}^r<\infty ,a=\{\begin{array}{l}\mathbb{E}(X_1),r\in [1,2)\\ 任意实数,r\in (0,1)\end{array}$.

4应用

•

大数定律应用在一些连续型随机变量上, 可以用来处理普通分析方法较难处理的一些积分. 比如: 命题 4.1. 设 $f$ 是区间 $[0,1]$ 上的正值连续函数, 则$$\underset{n\to \infty }{\lim }{\int }_0^1\cdots {\int }_0^1\frac{n}{f(x_1)+\cdots +f(x_n)}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=\frac{1}{{\int }_0^{1}f(x)\mathrm{d}x}$$ 证明. 设随机变量 $X$ 服从均匀分布 $U(0,1)$. 则$$\mathbb{E}(f(X))={\int }_0^{1}f(x)\mathrm{d}x$$设 $X_1,X_2,\cdots$ 相互独立且都与 $X$ 同分布, 则 $f(X_k)$ 也相互独立. 由强大数定律: $$\frac{1}{n}(f(X_1)+\cdots +f(X_n))⟶\mathbb{E}(f(X))a.s.$$因为 $f$ 是闭区间上的正值连续函数, 所以有正的下界. 不难证明: 如果 $X_n\stackrel{a.s.}{\to }X$, 且这些随机变量都有正的下界, 则 $X_n^{-1}\stackrel{a.s.}{\to }{X}^{-1}$ 成立. 于是结论的证明只需注意到欲证式左边就是$$\mathbb{E}\left(\frac{n}{f(X_1)+\cdots +f(X_n)}\right)$$ $\square$

•

许多统计模拟方法的理论依据是大数定律. 以 Monte Carlo 方法为例, 如果要计算某平面图形 (实际上就是 ${\mathbb{R}}^2$ 上的可测集) $A$ 的面积 $\sigma (A)$, 只需取一个图形 $\Omega \supset A$ 为概率空间, 且其面积易计算. 则根据几何概型, 任取一点, 落入图形 $A$ 中的概率是 $\mathbb{P}(A)=\frac{\sigma (A)}{\sigma (\Omega )}$. 另一方面, 大量取点, 设 $n$ 次取点后落在图形 $A$ 的点的个数为 $Z_n$. 则根据定理 2.3, 有$$\frac{Z_n}{n}\stackrel{p}{\to }\mathbb{P}(A)$$当 $n$ 很大时, 可以近似认为$$\frac{Z_n}{n}\approx \mathbb{P}(A)=\frac{\sigma (A)}{\sigma (\Omega )}$$从而可以求出图形 $A$ 的面积.

5相关概念

术语翻译

大数定律 • 英文 law of large numbers • 德文 Gesetz der großen Zahle • 法文 loi des grands nombres • 日文 大数の法則 (たいすうのほうそく)

弱大数定律 • 英文 weak law of large numbers • 德文 Schwaches Gesetz der großen Zahlen • 法文 loi faible des grands nombres • 日文 大数の弱法則

强大数定律 • 英文 strong law of large numbers • 德文 Starkes Gesetz der großen Zahlen • 法文 loi forte des grands nombres • 日文 大数の強法則