中心极限定理

在概率论中, 中心极限定理是对一列独立同分布的随机变量之平均值的描述.

具体而言, 大数定律表明, 对一列独立同分布的随机变量而言, 当随机变量的个数 $n\to \infty$ 时, 其均值几乎必然收敛于其期望. 中心极限定理则表明, 其均值与期望的差大约满足 $1/\sqrt{n}$ 倍的正态分布 $\mathcal{N}(0,{\sigma }^2)$, 其中 ${\sigma }^2$ 是原来随机变量的方差.

原先, 此定理只是被称作极限定理. 随着人们发现它在概率论中有着极为重要的位置, 才把它称之为中心极限定理.

1叙述与证明

定理 1.1 (Lindeberg–Lévy 中心极限定理). 设 $\{X_n{\}}_{n>0}$ 是一列独立同分布的随机变量, 具有有限的期望 $\mu$ 和方差 ${\sigma }^2$. 记 ${\bar{X}}_n=(X_1+\cdots +X_n)/n$ 为其前 $n$ 项的均值. 则有依分布收敛$$\sqrt{n}({\bar{X}}_n-\mu )\stackrel{\mathrm{d}}{⟶}\mathcal{N}(0,{\sigma }^2),$$其中 $\mathcal{N}(0,{\sigma }^2)$ 为方差 ${\sigma }^2$ 的正态分布.

证明. 注意 $\sqrt{n}({\bar{X}}_n-\mu )$ 的特征函数为: $$f_n(t)=(1-\frac{t^2{\sigma }^2}{2n}+o(\frac{t^2}{n}){)}^n$$固定 $t\in \mathbb{R}$, 对充分大的 $n$, 我们有$$|f_n(t)-(1-\frac{t^2{\sigma }^2}{2n}{)}^n|\le \sum _{j=1}^n|o\left(\frac{t^2}{n}\right)|=o(1)$$故$$\underset{n}{\lim }{f}_n(t)=\underset{n}{\lim }(1-\frac{t^2{\sigma }^2}{2n}{)}^n=e^{-\frac{t^2{\sigma }^2}{2}}$$这说明$$\sqrt{n}({\bar{X}}_n-\mu )\stackrel{\mathrm{d}}{⟶}\mathcal{N}(0,{\sigma }^2)$$

$\square$

2变形与推广

定理 2.1 (Lindeberg 条件). 对于每一个正整数 $n$, 设 $\{X_{n,m}\mid 1\le m\le n\}$ 是一列独立的随机变量, 满足 $\mathbb{E}(X_{n,m})=0$. 假设这些随机变量满足 Lindeberg 条件, 即满足如下两条性质$$\begin{array}{rl}& \underset{n\to \infty }{\lim }\sum _{m=1}^n\mathbb{E}(X_{n,m}^2)={\sigma }^2<\infty \\ & \underset{n\to \infty }{\lim }\sum _{m=1}^n\mathbb{E}(X_{n,m}^2{1}_{\{|X_{n,m}|>ϵ\}})=0对任意的ϵ>0\end{array}$$那么 $S_n={\sum }_{m=1}^n{X}_{n,m}$ 满足中心极限定理, 即我们有依分布收敛$$S_n\stackrel{\mathrm{d}}{⟶}\mathcal{N}(0,{\sigma }^2)$$

证明.

证明. 记 ${\sigma }_{n,m}^2=E(X_{n,m}^2)$. 对任意 $ϵ>0$, 我们有估计: $${\sigma }_{n,m}^2\le {ϵ}^2+E(X_{n,m}^2{1}_{\{|X_{n,m}|>ϵ\}})$$进而$$\underset{1\le m\le n}{\max }{\sigma }_{n,m}^2\le {ϵ}^2+\sum _{m=1}^{n}E(X_{n,m}^2{1}_{\{|X_{n,m}|>ϵ\}})$$由 Linderberg 条件及 $ϵ$ 的任意性, 我们有$$\underset{n\to \infty }{\lim }\underset{1\le m\le n}{\max }{\sigma }_{n,m}^2=0$$下记 $X_{n,m}$ 的特征函数为 $f_{n,m}(t)$, $g_{n,m}(t)=1-\frac{t^2{\sigma }_{n,m}^2}{2}$, 利用 Taylor 展开, 我们有$$\begin{array}{rl}|f_{n,m}-g_{n,m}|& \le 10E(\min \{|t{X}_{n,m}{|}^3,|t{X}_{n,m}{|}^2\})\\ & \le 10E(|t{X}_{n,m}{|}^3{1}_{\{|X_{n,m}|\le ϵ\}})+10E(|t{X}_{n,m}{|}^2{1}_{\{|X_{n,m}|>ϵ\}})\\ & \le 10|t{|}^3ϵE(|X_{n,m}{|}^2)+10t^{2}E(|X_{n,m}{|}^2{1}_{\{|X_{n,m}|>ϵ\}})\end{array}$$故$$\sum _{m=1}^n|f_{n,m}-g_{n,m}|\le 10|t{|}^3ϵ\sum _{m=1}^{n}E(|X_{n,m}{|}^2)+10t^{2}E(|X_{n,m}{|}^2{1}_{\{|X_{n,m}|>ϵ\}})$$结合 Linderberg 条件及 $ϵ$ 的任意性, 我们有$$\underset{n\to \infty }{\lim }\sum _{m=1}^n|f_{n,m}-g_{n,m}|=0$$固定 $t\in \mathbb{R}$, 对充分大的 $n$, 我们有 $|f_{n,m}(t)|\le 1,|g_{n,m}(t)|\le 1$. 此时有$$|\prod _{m=1}^n{f}_{n,m}(t)-\prod _{m=1}^n{g}_{n,m}(t)|\le \sum _{m=1}^n|f_{n,m}(t)-g_{n,m}(t)|$$故$$\underset{n\to \infty }{\lim }|\prod _{m=1}^n{f}_{n,m}(t)-\prod _{m=1}^n{g}_{n,m}(t)|=0$$由于 ${\prod }_{m=1}^n{f}_{n,m}(t)$ 为 $S_n$ 的特征函数, 我们只需证 ${\lim }_{n\to \infty }{\prod }_{m=1}^n{g}_{n,m}(t)=\exp (-t^2{\sigma }^2/2)$ 即可.

下面固定 $t\in \mathbb{R}$ 以及 $r>1$, 由于 ${\lim }_{n\to \infty }{\max }_{1\le m\le n}{\sigma }_{n,m}^2=0$ , 存在 $N=N(t,r)$ 使得 $n>N$ 时有$$-r\frac{t^2{\sigma }_{n,m}^2}{2}\le \log (1-\frac{t^2{\sigma }_{n,m}^2}{2})\le -\frac{t^2{\sigma }_{n,m}^2}{2}$$于是$$-r\frac{t^2{\sigma }^2}{2}\le \underset{n\to \infty }{\mathrm{liminf}}\sum _{m=1}^n\log (1-\frac{t^2{\sigma }_{n,m}^2}{2})\le \underset{n\to \infty }{\mathrm{limsup}}\sum _{m=1}^n\log (1-\frac{t^2{\sigma }_{n,m}^2}{2})\le -\frac{t^2{\sigma }^2}{2}$$由于 $r>1$ 是任一数, 我们有$$\log \underset{n\to \infty }{\lim }\prod _{m=1}^n{g}_{n,m}(t)=-\frac{t^2{\sigma }^2}{2}$$结合上文讨论, 记 $f_n(t)$ 为 $S_n$ 的特征函数, 我们有$$\underset{n\to \infty }{\lim }{f}_n(t)=e^{-\frac{t^2{\sigma }^2}{2}}$$即证.

$\square$

注 2.2. 此定理可推出定理 1.1, 只需取 $X_{m,n}=\frac{X_n-\mu }{\sqrt{m}}$ 即可.

术语翻译

中心极限定理 • 英文 central limit theorem • 德文 zentraler Grenzwertsatz • 法文 théorème central limite