3.6. 一般随机变量的期望

一般随机变量的期望属于高等概率论的内容, 由于数学工具的匮乏, 本课程将不给出一般随机变量期望的定义, 而将主要介绍一些一般情形下期望的重要性质.

我们首先用如下定理给出一种理解一般随机变量期望的方法, 即一般随机变量的期望都可以用离散型随机变量的期望进行逼近. 该定理的证明不做要求.

定理 3.6.1. 设 $X$ 为任一随机变量. 任取一严格递减且趋于 $0$ 的序列 $({\delta }_n{)}_{n=1}^{\infty }$, 并令 $X_1,X_2,\dots$ 为一列离散型随机变量, 使得 $\{|X_n-X|\le {\delta }_n\}$ 均为必然事件. 则 $\mathbb{E}[X]$ 存在当且仅当每个 $\mathbb{E}[X_n]$ 均存在, 且 $\mathbb{E}[X]$ 存在时有$$\mathbb{E}[X]=\underset{n\to \infty }{\lim }\mathbb{E}[X_n].$$

定理 3.6.1 说明, 对于任意的随机变量 $X$, 可通过构造一列离散型随机变量 $(X_n{)}_{n=1}^{\infty }$ 对 $X$ 进行逼近, 并考察 $\mathbb{E}[X_n]$ 的存在性以及极限来判断 $\mathbb{E}[X]$ 的存在性并求 $\mathbb{E}[X]$ 的值. 满足定理 3.6.1 条件的离散型随机变量列 $(X_n{)}_{n=1}^{\infty }$ 则可通过如下方式构造: 给定 $({\delta }_n{)}_{n=1}^{\infty }$, 令$${\theta }_n(x)=\{\begin{array}{ll}k{\delta }_n,& \text{若存在正整数 k 使得}k{\delta }_n\le x<(k+1){\delta }_n,\\ 0,& \text{若}-{\delta }_n<x<{\delta }_n,\\ -k{\delta }_n,& \text{若存在正整数 k 使得}-(k+1){\delta }_n<x\le -k{\delta }_n,\end{array}$$(3.6.1)则有 $|{\theta }_n(x)-x|\le {\delta }_n,\forall x\in \mathbb{R}$, 因而令 $X_n={\theta }_n(X)$ 即可使得随机变量列 $(X_n{)}_{n=1}^{\infty }$ 满足定理 3.6.1 条件. 此外, 上式给出的函数 ${\theta }_n$ 还具有如下几条性质: (i) ${\theta }_n$ 单调不减; (ii) ${\theta }_n(x)$ 与 $x$ 具有相同的符号; (iii) $|{\theta }_n(x)|={\theta }_n(|x|)\le |x|$.

基于以上结果, 我们可以比较方便地将离散随机变量期望的许多结果推广到一般随机变量的期望.

引理 3.6.2 (期望仅由分布决定). 设 $X,Y$ 为两个同分布的随机变量, 也就是说对任意区间 $I\subseteq \mathbb{R}$ 均有$$\mathbb{P}(X\in I)=\mathbb{P}(Y\in I).$$则 $\mathbb{E}[X]$ 存在当且仅当 $\mathbb{E}[Y]$ 存在, 且 $\mathbb{E}[X]$ 与 $\mathbb{E}[Y]$ 存在时有$$\mathbb{E}[X]=\mathbb{E}[Y].$$

证明. (${}^{\star }$) 这里仅给出思路: 令函数 ${\theta }_n$ 由式 (3.6.1) 给出, 其中取 ${\delta }_n=1/n$. 再令 $X_n={\theta }_n(X)$, $Y_n={\theta }_n(Y)$, 则 $X_n,Y_n$ 均为离散型随机变量. 接下来由 $\mathbb{P}(X\in I)=\mathbb{P}(Y\in I)$ 以及 ${\theta }_n$ 的单调性可证明对任意正整数 $n$, $X_n={\theta }_n(X)$ 与 $Y_n={\theta }_n(Y)$ 具有相同的分布列, 故 $\mathbb{E}[X_n]$ 存在当且仅当 $\mathbb{E}[Y_n]$ 存在, 且它们都存在时有 $\mathbb{E}[X_n]=\mathbb{E}[Y_n]$. 最后, 由于 $|X_n-X|\le 1/n$ 以及 $|Y_n-Y|\le 1/n$, 可利用定理 3.6.1 得到$$\mathbb{E}[X]=\underset{n\to \infty }{\lim }\mathbb{E}[X_n]=\underset{n\to \infty }{\lim }\mathbb{E}[Y_n]=\mathbb{E}[Y].$$$\square$

命题 3.6.3. 设 $X,Y$ 为随机变量.

1.	$\mathbb{E}[X]$ 存在当且仅当 $\mathbb{E}[|X|]$ 存在.
2.	若 $|X|\le Y$ 必然成立, 且 $\mathbb{E}[Y]$ 存在, 则 $\mathbb{E}[X]$ 存在, 且 $|\mathbb{E}[X]|\le \mathbb{E}[Y]$.

证明. (${}^{\star }$) 令函数 ${\theta }_n$ 由式 (3.6.1) 给出, 其中取 ${\delta }_n=1/n$. 再令 $X_n={\theta }_n(X)$, 则有 $|X_n-X|\le 1/n$, 且因 ${\theta }_n$ 满足 ${\theta }_n(|x|)=|{\theta }_n(x)|$, 故 $||X_n|-|X||=|{\theta }_n(|X|)-|X||\le 1/n$.

我们先证明 $\mathbb{E}[X]$ 的存在性等价于 $\mathbb{E}[|X|]$ 的存在性. 由定理 3.6.1 可得, $\mathbb{E}[X]$ 的存在性等价于每个 $\mathbb{E}[X_n]$ 的存在性, 而 $\mathbb{E}[|X|]$ 的存在性等价于每个 $\mathbb{E}[|X_n|]$ 的存在性, 而由离散型随机变量期望的 LOTUS (定理 2.5.3), 可得 $\mathbb{E}[X_n]$ 的存在性等价于 $\mathbb{E}[|X_n|]$ 的存在性. 综上可得 $\mathbb{E}[X]$ 的存在性等价于 $\mathbb{E}[|X|]$ 的存在性.

接下来设 $0\le X\le Y$ 且 $\mathbb{E}[Y]$ 存在. 令 $Y_n={\theta }_n(Y)$, 则由 ${\theta }_n$ 的单调性可得 $X_n={\theta }_n(X)\le {\theta }_n(Y)=Y_n$, 故 ¹$$\begin{array}{rl}\mathbb{E}[Y_n]=& \sum _{y:y\ge 0}y\cdot \mathbb{P}(Y_n=y)=\sum _{(x,y):0\le x\le y}y\cdot \mathbb{P}(X_n=x,Y_n=y)\\ \ge & \sum _{(x,y):0\le x\le y}x\cdot \mathbb{P}(X_n=x,Y_n=y)=\sum _{x:x\ge 0}x\cdot \mathbb{P}(X_n=x)=\mathbb{E}[X_n].\end{array}$$最后利用定理 3.6.1 并令 $n\to \infty$ 即得 $\mathbb{E}[X]$ 存在且有 $\mathbb{E}[Y]\ge \mathbb{E}[X]$.

$\square$

定理 3.6.4 (期望的线性). 设随机变量 $X,Y$ 的期望 $\mathbb{E}[X]$ 与 $\mathbb{E}[Y]$ 均存在, $\alpha ,\beta$ 为任意两个实数. 则$$\mathbb{E}[\alpha X+\beta Y]=\alpha \mathbb{E}[X]+\beta \mathbb{E}[Y].$$

证明. 不妨设 $\alpha ,\beta$ 不全为 $0$, 否则等式是显然的.

令函数 ${\theta }_n$ 由式 (3.6.1) 给出, 其中取 ${\delta }_n=1/n$. 再令 $X_n={\theta }_n(X),Y_n={\theta }_n(Y)$, 则由定理 3.6.1 可得$$\mathbb{E}[X]=\underset{n\to \infty }{\lim }\mathbb{E}[X_n],\mathbb{E}[Y]=\underset{n\to \infty }{\lim }\mathbb{E}[Y_n].$$令 $Z_n=\alpha X_n+\beta Y_n$, 则有$$\left|Z_n-(\alpha X+\beta Y)\right|\le |\alpha |\cdot |X_n-X|+|\beta |\cdot |Y_n-Y|\le \frac{|\alpha |+|\beta |}{n}.$$因 $Z_n$ 均为离散型随机变量, 且 $(|\alpha |+|\beta |)/n$ 严格单调递减趋于 $0$, 故 $(Z_n{)}_{n=1}^{\infty }$ 满足定理 3.6.1 的条件, 从而$$\begin{array}{rl}\mathbb{E}[\alpha X+\beta Y]& =\underset{n\to \infty }{\lim }\mathbb{E}[Z_n]\\ & =\underset{n\to \infty }{\lim }(\alpha \mathbb{E}[X_n]+\beta \mathbb{E}[Y_n])=\alpha \mathbb{E}[X]+\beta \mathbb{E}[Y].\end{array}$$其中第二步用到了离散型随机变量期望的线性.

$\square$

定理 3.6.5. 设 $X$ 为随机变量, 满足 $\mathbb{P}(X\ge 0)=1$. 则如下命题成立:

1.	若 $\mathbb{E}[X]$ 存在, 则 $\mathbb{E}[X]\ge 0$.
2.	$\mathbb{E}[X]=0$ 当且仅当 $\mathbb{P}(X=0)=1$.

证明.

1.

令函数 ${\theta }_n$ 由式 (3.6.1) 给出, 其中取 ${\delta }_n=1/n$. 再令 $X_n={\theta }_n(X)$, 则定理 3.6.1 保证了 ${\lim }_{n\to \infty }\mathbb{E}[X_n]=\mathbb{E}[X]$. 另一方面, 由 $|X_n-X|\le 1/n$ 可得 $X_n+1/n\ge X$, 故 $\mathbb{P}(X_n+1/n\ge 0)=1$. 而由于 $X_n+1/n$ 也是离散型随机变量, 由定理 2.5.5 可得$$0\le \mathbb{E}\left[X_n+\frac{1}{n}\right]=\mathbb{E}[X_n]+\frac{1}{n}.$$令 $n\to \infty$ 并由 ${\lim }_{n\to \infty }\mathbb{E}[X_n]=\mathbb{E}[X]$ 即得到 $\mathbb{E}[X]\ge 0$.

2.

$\mathbb{P}(X=0)=1\Rightarrow \mathbb{E}[X]=0$: 由于 $\mathbb{E}[X]$ 仅取决于 $X$ 的分布, 而 $\mathbb{P}(X=0)=1$ 意味着 $X$ 与常函数 $0$ 同分布, 故 $\mathbb{E}[X]=\mathbb{E}[0]=0$. (${}^{\star }$) $\mathbb{E}[X]=0\Rightarrow \mathbb{P}(X=0)=1$: 用反证法, 假设 $\mathbb{E}[X]=0$ 但 $\mathbb{P}(X=0)<1$. 对任意正整数 $n$, 令 $E_n=\{X>1/n\}$, 则不难看出 $E_1,E_2,\dots$ 为单调递增事件列, 且 ${\lim }_{n\to \infty }{E}_n=\{X>0\}$. 由概率的连续性可得$$\underset{n\to \infty }{\lim }\mathbb{P}(E_n)=\mathbb{P}(X>0).$$由 $\mathbb{P}(X=0)<1$ 可得 $\mathbb{P}(X>0)>0$, 从而存在自然数 $N$ 使得 $\mathbb{P}(E_N)>0$. 另一方面, 注意到$$\left\{X-\frac{1}{N}{1}_{E_N}\ge 0\right\}$$为必然事件, 故由定理第 1 部分以及期望的线性得$$0\le \mathbb{E}\left[X-\frac{1}{N}{1}_{E_N}\right]=\mathbb{E}[X]-\frac{1}{N}\mathbb{P}(E_N)=-\frac{1}{N}\mathbb{P}(E_N)<0,$$产生矛盾. $\square$

下面我们证明连续型随机变量期望的 LOTUS, 即定理 3.4.3.

定理 3.4.3 的证明. (${}^{\star }$) 简单起见, 这里只给出二元函数情形的证明, 且不论证 $\mathbb{E}[g(X,Y)]$ 的存在性. 令函数 ${\theta }_n$ 由式 (3.6.1) 给出, 其中取 ${\delta }_n=1/n$. 再令 $Z_n={\theta }_n(g(X,Y))$, 则 $Z_n$ 为离散型随机变量, 且有$$\begin{array}{rl}\mathbb{E}[Z_n]& =\sum _{z}z\cdot \mathbb{P}(Z_n=z)\\ & =\sum _{z}z\cdot {\iint }_{{\theta }_n(g(x,y))=z}{f}_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ & =\sum _z{\iint }_{{\theta }_n(g(x,y))=z}{\theta }_n(g(x,y))\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\iint }_{{\mathbb{R}}^2}{\theta }_n(g(x,y))\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y.\end{array}$$而由于$$\begin{array}{rl}& \left|{\iint }_{{\mathbb{R}}^2}{\theta }_n(g(x,y))\cdot f_X(x)\mathrm{d}x\mathrm{d}y-{\iint }_{{\mathbb{R}}^2}g(x,y)\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\right|\\ \le & {\iint }_{{\mathbb{R}}^2}\left|{\theta }_n(g(x,y))-g(x,y)\right|\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ \le & {\iint }_{{\mathbb{R}}^2}\frac{1}{n}\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y=\frac{1}{n},\end{array}$$故取 $n\to \infty$ 的极限即可得到$$\begin{array}{rl}\mathbb{E}[g(X,Y)]& =\underset{n\to \infty }{\lim }\mathbb{E}[Z_n]\\ & =\underset{n\to \infty }{\lim }{\iint }_{{\mathbb{R}}^2}{\theta }_n(g(x,y))\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\iint }_{{\mathbb{R}}^2}g(x,y)\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y,\end{array}$$其中第一个等号来自于定理 3.6.1.

$\square$

以上介绍的一般情形下期望的性质希望读者能够记住并学会如何运用, 但它们的证明只要求读者能够顺下来即可, 不要求掌握.

最后, 我们利用定理 3.4.3 证明, 两个独立的连续型随机变量乘积的期望等于各自期望的乘积; 该结论的证明要求读者能够掌握.

定理 3.6.6. 设 $X,Y$ 为相互独立的连续型随机变量, 且二者的期望均存在, 则$$\mathbb{E}[XY]=\mathbb{E}[X]\cdot \mathbb{E}[Y].$$

证明. 由于 $X,Y$ 互相独立, 由定理 3.3.1 可得 $(X,Y)$ 为连续型随机向量, 且 $f_{X,Y}(x,y)=f_X(x)\cdot f_Y(y)$. 接下来由定理 3.4.3 得$$\begin{array}{rl}\mathbb{E}[XY]& ={\iint }_{{\mathbb{R}}^2}xy\cdot f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\iint }_{{\mathbb{R}}^2}\left(x\cdot f_X(x)\right)\left(y\cdot f_Y(y)\right)\mathrm{d}x\mathrm{d}y\\ & ={\int }_{-\infty }^{+\infty }x\cdot f_X(x)\mathrm{d}x{\int }_{-\infty }^{+\infty }y\cdot f_Y(y)\mathrm{d}y=\mathbb{E}[X]\cdot \mathbb{E}[Y].\end{array}$$定理得证.

$\square$

实际上, 只要两个独立随机变量的期望存在, 则不管它们是不是离散型或连续型, 其乘积的期望都等于期望的乘积; 该结论的证明这里就不展开了, 但读者仍可基于离散型随机变量逼近的思路来进行直观理解.

脚注

1.	^ 推导中我们对求和式进行了重排, 且利用了如下结论: 若 $f,g:{\mathbb{R}}^2\to \left[0,+\infty \right[$ 仅在可数个点上取非零值, 且 $f(x,y)\le g(x,y),\forall (x,y)\in {\mathbb{R}}^2$, 则 ${\sum }_{(x,y)}g(x,y)$ 收敛时 ${\sum }_{(x,y)}f(x,y)$ 必收敛, 且 ${\sum }_{(x,y)}f(x,y)\le {\sum }_{(x,y)}g(x,y)$. 可参考附录 A.1 中的相关结论.