依分布收敛

依分布收敛是概率论中随机变量的一种较弱的收敛性, 它只要求分布函数在某种意义上收敛.

1定义

定义 1.1 (淡收敛). 设 $(F_n{)}_{n\ge 1}$ 是一列定义在 $\mathbb{R}$ 上有界、递增的右连续函数. 如果存在同样如此的函数 $F$, 使得对 $F$ 的任意连续点 $x\in \mathbb{R}$, $$\underset{n\to \infty }{\lim }{F}_n(x)=F(x),$$则称 $(F_n)$ 淡收敛于 $F$, 记为 $F_n\stackrel{v}{\to }F$, 并称 $F$ 是 $(F_n)$ 的淡极限.

这里没有直接使用累积分布函数, 是因为: 分布函数的淡极限未必是分布函数. 这方面的一个反例是$$\begin{array}{rl}{F}_n(x)& =\{\begin{array}{ll}0,& x\le -n,\\ \frac{x+n}{2n},& -n<x\le n,\\ 1,& x>n,\end{array}\\ F(x)& =\frac{1}{2}.\end{array}$$

如果分布函数的淡极限确实是分布函数, 则可以定义依分布收敛.

定义 1.2 (依分布收敛). 设 $(X_n{)}_{n\ge 1}$ 是一列实值随机变量, $X$ 是实值随机变量. 如果 $X_n$ 的累积分布函数 $F_n$ 淡收敛于 $X$ 的累积分布函数 $F$, 则称 $(X_n)$ 依分布收敛于 $X$, 记为 $X_n\stackrel{d}{\to }X$.

有时也用分布函数代替随机变量本身, 记为 $F_n\stackrel{d}{\to }F$.

2性质

基本性质

依分布收敛可以说是常见收敛类型中最弱的. 其它的收敛可以推出它, 而反过来则不能或需要额外条件. 设 $(X_n)$ 是实值随机变量序列, $X$ 是实值随机变量.

•	如果有依概率收敛 $X_n\stackrel{p}{\to }X$, 则 $X_n\stackrel{d}{\to }X$.

•	设 $c\in \mathbb{R}$, 将取值 $c$ 的常值随机变量仍记为 $c$, 则 $X_n\stackrel{d}{\to }c$ 当且仅当 $X_n\stackrel{p}{\to }c$.

上面这条性质可以用于弱大数定律的证明.

•	对 $r>0$, 如果 $X_n\stackrel{d}{\to }X$, 则 $\mathbb{E}(|X_n{|}^r)\to \mathbb{E}(|X{|}^r)$ 当且仅当 $(|X_n{|}^r)$ 一致可积.

•	(Slutsky 引理) 如果 $X_n\stackrel{d}{\to }X,Y_n\stackrel{p}{\to }0$, 则 ∘ $X_n+Y_n\stackrel{d}{\to }X$; ∘ $X_n{Y}_n\stackrel{d}{\to }0$.

最后举一个淡收敛的性质, 它说明淡收敛的定义可以减弱.

•	设 $(F_n{)}_{n\ge 1}$ 是一列定义在 $\mathbb{R}$ 上有界、递增的右连续函数, $F$ 是一个这样的函数. 则 $F_n\stackrel{v}{\to }F$ 的充要条件是, 存在 $C(F)$ 的稠密子集 $D$ 使得$$\underset{n\to \infty }{\lim }{F}_n(x)=F(x),\forall x\in D,$$其中 $C(F)$ 是 $F$ 的连续点集合. 以下均遵照此种约定.

连续性定理

特征函数与累积分布函数有密切的联系, 而依分布收敛是关于分布函数的, 所以应该也可以使用特征函数刻画依分布收敛. 为此, 先对淡收敛进行研究.

定理 2.1 (Helly 第一定理). 设 $(F_n{)}_{n\ge 1}$ 是一列定义在 $\mathbb{R}$ 上有界、递增的右连续函数. 如果这列函数是一致有界的, 则存在子列 $(F_{n_k})$, 它有淡极限.

证明.

证明. (…)

$\square$

Helly 第一定理可以解释为: 满足上述条件的函数组成的有界集在淡收敛意义下是紧集. 因为分布函数总是限制在 $[0,1]$ 之间, 所以一定满足这种性质.

定理 2.2 (Helly 第二定理). 设 $(F_n),F$ 分别是一列和一个累积分布函数. 如果 $F_n\stackrel{d}{\to }F$, 则对任意有界连续函数 $g:\mathbb{R}\to \mathbb{C}$, 有$$\underset{n\to \infty }{\lim }{\int }_{\mathbb{R}}g(x)\mathrm{d}{F}_n(x)={\int }_{\mathbb{R}}g(x)\mathrm{d}F(x).$$

证明.

证明. (…)

$\square$

接下来可以介绍主要定理. 这个定理基本把依分布收敛转化为计算特征函数极限的问题.

定理 2.3 (连续性定理).

•	设 $F,(F_n{)}_{n\ge 1}$ 分别是一个和一列累积分布函数, $\varphi ,({\varphi }_n)$ 是它们对应的特征函数. 如果 $F_n\stackrel{d}{\to }F$, 则对任意 $t\in \mathbb{R}$, 有$$\underset{n\to \infty }{\lim }{\varphi }_n(t)=\varphi (t).$$(1)而且这种收敛在任意紧集 (即有界闭区间) 上一致.

•	如果 $({\varphi }_n{)}_{n\ge 1}$ 是一列特征函数, $(F_n)$ 是对应的分布函数. 如果存在一个在 $t=0$ 处连续的函数 $\varphi :\mathbb{R}\to \mathbb{C}$ 使得 (1) 式成立, 则 $\varphi$ 也是特征函数, 且对于其对应的分布函数 $F$, 有$$F_n\stackrel{d}{\to }F.$$

证明.

证明. 1. 如果 $F_n(x)\stackrel{d}{\to }F(x)$, 注意到 $t\mapsto {\mathrm{e}}^{\mathrm{i}tx}$ 是有界连续函数, 根据定理 2.2 立刻得到 (1) 式成立. 下面证明这种收敛性对任何有界闭区间一致成立. 进一步, 可以不妨设区间为 $[-t_0,t_0]$.

对任意 $\epsilon >0$, 取充分大的 $A\in C(F)$, 使得$${\int }_{|x|>A}\mathrm{d}F(x)=F(-A)+1-F(A)<\epsilon .$$因为 ${\lim }_{n\to \infty }{F}_n(\pm A)=F(\pm A)$, 故 $n$ 充分大时: $${\int }_{|x|>A}\mathrm{d}{F}_n(A)=F_n(-A)+1-F_n(A)<2\epsilon .$$由于$$\begin{array}{rl}|{\varphi }_n(t)-\varphi (t)|& =\left|{\int }_{\mathbb{R}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}{F}_n(x)-{\int }_{\mathbb{R}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right|\\ & ={\int }_{|x|>A}\mathrm{d}{F}_n(x)+{\int }_{|x|>A}\mathrm{d}F(x)+\left|{\int }_{|x|\le A}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}{F}_n(x)-{\int }_{|x|\le A}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right|,\end{array}$$于是只要证明当 $n\to \infty$ 时, $$\left|{\int }_{-A}^A{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}{F}_n(x)-{\int }_{-A}^A{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right|$$对 $t\le |t_0|$ 一致收敛于 $0$.

容易得到估计式 $|{\mathrm{e}}^{\mathrm{i}tx}-{\mathrm{e}}^{\mathrm{i}ty}|\le |t(x-y)|$. 取充分密的 $-A=x_0<x_1<\cdots <x_m=A$, 使得 $x_j\in C(F)(j=0,\cdots ,m)$, 且 $t_0(x_{j+1}-x_j)<\epsilon (j=0,\cdots ,m-1)$. 则$$\underset{|t|\le t_0}{\sup }\underset{x\in [x_j,x_{j+1}]}{\sup }|{\mathrm{e}}^{\mathrm{i}tx}-{\mathrm{e}}^{\mathrm{i}t{x}_j}|<\epsilon ,j=0,\cdots ,m-1.$$现在把所欲估计的式子分为三段: $$\begin{array}{rl}\underset{|t|\le t_0}{\sup }\left|{\int }_{-A}^A{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}{F}_n(x)-{\int }_{-A}^A{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right|& \le \sum _{j=0}^{m-1}\underset{|t|\le t_0}{\sup }\left|{\int }_{x_j}^{x_{j+1}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}{F}_n(x)-{\int }_{x_j}^{x_{j+1}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right|\\ & \le \sum _{j=0}^{m-1}\underset{|t|\le t_0}{\sup }\left|{\int }_{x_j}^{x_{j+1}}({\mathrm{e}}^{\mathrm{i}tx}-{\mathrm{e}}^{\mathrm{i}t{x}_j})\mathrm{d}{F}_n(x)\right|+\sum _{j=0}^{m-1}\underset{|t|\le t_0}{\sup }\left|{\int }_{x_j}^{x_{j+1}}({\mathrm{e}}^{\mathrm{i}tx}-{\mathrm{e}}^{\mathrm{i}t{x}_j})\mathrm{d}F(x)\right|\\ & +\sum _{j=0}^{m-1}\underset{|t|\le t_0}{\sup }|{\mathrm{e}}^{\mathrm{i}t{x}_j}(F_n(x_{j+1})-F_n(x_j)-F(x_{j+1})+F(x_j))|\\ & =I_{1,n}+I_{2,n}+I_{3,n}.\end{array}$$下面分别估计三个部分. $$\begin{array}{rl}{I}_{1,n}& \le \sum _{j=0}^{m-1}{\int }_{x_j}^{x_{j+1}}\underset{|t|\le t_0}{\sup }|{\mathrm{e}}^{\mathrm{i}tx}-{\mathrm{e}}^{\mathrm{i}t{x}_j}|\mathrm{d}{F}_n(x)\\ & <\epsilon \sum _{j=0}^{m-1}{\int }_{x_j}^{x_{j+1}}\mathrm{d}{F}_n(x)\\ & =\epsilon {\int }_{-A}^A\mathrm{d}{F}_n(x)\le \epsilon ,\end{array}$$同理可得 $I_{2,n}<\epsilon$. 进一步, $$\begin{array}{rl}{I}_{3,n}& =\sum _{j=0}^{m-1}\underset{|t|\le t_0}{\sup }|{\mathrm{e}}^{\mathrm{i}t{x}_j}(F_n(x_{j+1})-F(x_{j+1})-(F_n(x_j)-F(x_j)))|\\ & \le 2\sum _{j=0}^m|F_n(x_j)-F(x_j)|,\end{array}$$因为 $x_j\in C(F)$, 所以 $n$ 充分大时$$|F_n(x_j)-F(x_j)|<\frac{\epsilon }{2(m+1)},$$也就有 $I_{3,n}<\epsilon$. 综上所述, 就证明了一致收敛性.

2. 根据定理 2.1, 存在 $(F_n)$ 的子列 $(F_{n_k})$ 和有界递增右连续函数 $\tilde{F}$ 使得 $F_{n_k}\stackrel{v}{\to }\tilde{F}$. 我们先来证明 $\tilde{F}$ 是分布函数. 易知: $\tilde{F}(-\infty )={\lim }_{x\to -\infty }\tilde{F}(x)\ge 0$, 以及 $\tilde{F}(+\infty )\le 1$. 令$$\alpha =\tilde{F}(+\infty )-\tilde{F}(-\infty ),$$为了证明 $\tilde{F}$ 是分布函数, 只需要证明 $\alpha =1$. 如果不然, 设 $\alpha <1$, 根据 $\varphi$ 在 $t=0$ 的连续性, 对任意的 $0<\epsilon <1-\alpha$, 存在 $\delta >0$ 使得$$\frac{1}{2\delta }\left|{\int }_{-\delta }^{\delta }\varphi (t)\mathrm{d}t\right|>\alpha +\frac{\epsilon }{2},$$(2)这是因为 $\varphi (0)={\lim }_{n\to \infty }{\varphi }_n(0)=1$. 因为 $F_{n_k}\stackrel{v}{\to }\tilde{F}$, 所以存在 $b>\frac{4}{\epsilon \delta }$, 使得 $\pm b\in C(\tilde{F})$, 且 $k$ 充分大时: $${\alpha }_k:=F_{n_k}(b)-F_{n_k}(-b)<\alpha +\frac{\epsilon }{4}.$$注意到$$\left|{\int }_{-\delta }^{\delta }{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right|\le 2\delta ,\left|{\int }_{-\delta }^{\delta }{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right|=\left|\frac{2}{x}\sin \delta x\right|\le \frac{2}{b},|x|>b,$$所以$$\begin{array}{rl}\frac{1}{2\delta }\left|{\int }_{-\delta }^{\delta }{\varphi }_{n_k}(t)\mathrm{d}t\right|& =\frac{1}{2\delta }\left|{\int }_{\mathbb{R}}\left({\int }_{-\delta }^{\delta }{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right)\mathrm{d}{F}_{n_k}(x)\right|\\ & \le \frac{1}{2\delta }{\int }_{-b}^b\left|{\int }_{-\delta }^{\delta }{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right|\mathrm{d}{F}_{n_k}(x)+\frac{1}{2\delta }{\int }_{|x|>b}\left|{\int }_{-\delta }^{\delta }{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right|\mathrm{d}{F}_{n_k}(x)\\ & \le {\alpha }_k+\frac{1}{b\delta }<{\alpha }_k+\frac{\epsilon }{4}<\alpha +\frac{\epsilon }{2},\end{array}$$对 $k$ 取极限, 结果与 (2) 式矛盾. 这就证明了 $\alpha =1$, $\tilde{F}$ 是分布函数. 于是, $F_{n_k}\stackrel{d}{\to }\tilde{F}$. 根据定理的第 1 部分, $({\varphi }_{n_k})$ 收敛于 $\tilde{F}$ 对应的特征函数, 而由 (1) 式得这个特征函数就是 $\varphi$. 根据反演公式得到 $\tilde{F}=F$. 所以 $F_{n_k}\stackrel{d}{\to }F$.

最后证明 $F_n\stackrel{d}{\to }F$. 如果不是这样, 因为去掉子列 $(F_{n_k})$ 后剩下的序列依然符合定理 2.1 的条件, 可以从中取出另一个子列淡收敛于 $G(x)$, 不同于 $F(x)$. 但是重复上述证明过程可知 $G$ 也是以 $\varphi$ 为特征函数的分布函数, 由反演公式可得 $G=F$, 矛盾. 定理得证.

$\square$

3相关概念

术语翻译

依分布收敛 • 英文 convergence in distribution • 法文 convergence en loi

淡收敛 • 英文 vague convergence