6. 随机变量及其数量特征

随机变量及其数量特征

本文只考虑随机变量取 $\mathbb{R}$ (一维随机变量) 或 ${\mathbb{R}}^n$ 值 ($n$ 维随机变量或随机向量) 的情形.

定义 6.0.1 (随机变量, 概率分布函数). 设 $(\Omega ,\mathcal{F},P)$ 是一个概率空间, $X:\Omega \to \mathbb{R}$ 是一个映射, 如果对于每一个 $x\in \mathbb{R}$, 有$$\{\omega \in \Omega :X(\omega )\le x\}\in \mathcal{F},$$(6.1)则称 $X$ 是一个随机变量, 并称$$F_X(x):=P(\{\omega \in \Omega :X(\omega )\le x\}).$$(6.2)为 $X$ 的概率分布函数

注 6.0.2. (6.2) 中的 $P(\{\omega \in \Omega :X(\omega )\le x\})$ 很多时候会被写作 $P(X\le x)$.

定义 6.0.3 (离散型随机变量, 分布列). 设 $X$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的随机变量, 如果 $X$ 的所有可能取值 $X(\Omega )$ 是 $\mathbb{R}$ 上的离散点集 $\{x_i{\}}_{i\in I\subseteq \mathbb{Z}}$, 则称 $X$ 是一个离散型随机变量. 我们称$$p_i=P(X=x_i),i\in I,$$(6.3)为一个概率分布, 并称 $(p_i{)}_{i\in I}$ 为这个随机变量的分布列.

分布列通常可以写成

X	$x_1$	$x_2$	$\cdots$
$P(X)$	$p_1$	$p_2$	$\cdots$

这种形式.

例 6.0.4 (Bernoulli 分布). 设 $p\in (0,1)$, 我们称概率分布为$$P(X=0)=1-p,P(x=1)=p$$(6.4)的随机变量 $X$ 满足参数为 $p$ 的 Bernoulli 分布.

例 6.0.5 (二项分布). 设 $n$ 是正整数, $p\in (0,1)$, 我们称概率分布为$$P(X=k)=\frac{n!}{k!(n-k)!}{p}^k{(1-p)}^{n-k},k=0,1,\cdots ,n$$(6.5)的随机变量 $X$ 满足参数为 $(n,p)$ 的二项分布.

例 6.0.6 (Poisson 分布). 设 $\lambda >0$, 我们称概率分布为$$P(X=k)=\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!},k=0,1,2\cdots ,$$(6.6)的随机变量 $X$ 满足参数为 $\lambda$ 的 Poisson 分布.

定义 6.0.7 (连续型随机变量, 概率密度函数). 设 $X$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的随机变量, 如果 $X(\Omega )$ 的分布函数 $F_X(x)$ 是连续可微的 (除有限个第二类间断点外), 则我们称 $X$ 是一个连续型随机变量, 并记 $F_X$ 的导函数$$p_X(x)=F_X^{\prime }(x)$$(6.7)为 $X$ 概率密度函数.

例 6.0.8 (均匀分布). 设 $-\infty <a<b<+\infty$, 我们称概率密度函数为$$p_X(x)=\{\begin{array}{ll}\frac{1}{b-a}& x\in [a,b]\\ 0& x\notin [a,b]\end{array}$$(6.8)的随机变量 $X$ 满足参数为 $(a,b)$ 的均匀分布, 记作 $X\sim \mathcal{U}(a,b)$.

例 6.0.9 (正态分布). 设 $\mu \in \mathbb{R},\sigma >0$, 我们称概率密度函数为$$p_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},x\in \mathbb{R}$$(6.9)的随机变量 $X$ 满足参数为 $(u,\sigma )$ 的正态分布, 记作 $X\sim \mathcal{N}(\mu ,\sigma )$.

例 6.0.10 (指数分布). 设 $\lambda >0$, 我们称概率密度函数为$$p_X(x)=\{\begin{array}{ll}0& x<0,\\ \lambda {\mathrm{e}}^{-\lambda x}& x>0\end{array}$$(6.10)的随机变量 $X$ 满足参数为 $\lambda$ 的指数分布, 记作 $X\sim \mathcal{E}(\lambda )$.

例 6.0.11. 设 $X_1,X_2,\cdots ,X_m$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的随机变量, $f:{\mathbb{R}}^m\to \mathbb{R}$ 是一个 Borel 可测函数 (不懂测度论者可认为它是任何函数), 则 $f(X_1,X_2,\cdots X_m)$, 也就是说映射$$\Omega \to \mathbb{R}:\omega \mapsto f(X_1(\omega ),X_2(\omega ),\cdots ,X_m(\omega )),$$也是一个 $(\Omega ,\mathcal{F},P)$ 上的随机变量. 这样一来, 我们可以通过已有随机变量来构造新的随机变量. 比方说两个随机变量的和 $X+Y$, 积 $XY$, 商 $X/Y$, 以及 $n$ 个随机变量的和 ${\sum }_{i=1}^m{X}_m$, 均值 $\bar{X}=\frac{1}{m}{\sum }_{i=1}^m{X}_m$ 等等.

定义 6.0.12 (数学期望). 设 $X$ 是 $(\Omega ,\mathcal{F},P)$ 上的随机变量, $F_X(x)$ 是其分布函数, 则我们称$$\mathbb{E}X:={\int }_{-\infty }^{+\infty }x\mathrm{d}{F}_X(x),$$(6.11)是这个分布的数学期望, 简称期望或均值. 特别地

•	对于离散型随机变量 $X$, 设其概率分布由 $P(X=x_i)=p_i,i\in I$ 给出, 则其数学期望是$$\mathbb{E}X=\sum _{i\in I}{p}_i{x}_i,$$(6.12)
•	对于离散型随机变量 $X$, 设其概率密度函数为 $p_X(x)$ 给出, 则其数学期望是$$\mathbb{E}X=x{\int }_{-\infty }^{+\infty }{p}_X(x)\mathrm{d}x.$$(6.13)

定义 6.0.13 (方差). 设 $X$ 是 $(\Omega ,\mathcal{F},P)$ 上的随机变量, $F_X(x)$ 是其分布函数, 则我们称$$\mathrm{Var}X:=\mathbb{E}(X-\mathbb{E}X)=\mathbb{E}(X^2)-(\mathbb{E}X{)}^2,$$(6.14)是这个分布的方差.

例 6.0.14. 设 $X\sim \mathcal{B}(1,p)$, 则$$\mathbb{E}X=0\cdot (1-p)+1\cdot p=p$$而$$\mathrm{Var}X=(0-\mathbb{E}X)\cdot (1-\mathbb{E}X)+(1-p)\cdot p=(0-p)\cdot (1-p)+(1-p)\cdot p=(1-p)p.$$

例 6.0.15. 设 $X\sim \mathcal{U}(a,b)$, 则$$\mathbb{E}X={\int }_a^b\frac{x}{b-a}\mathrm{d}x=\frac{1}{b-a}\left(\frac{b^2}{2}-\frac{a^2}{2}\right)=\frac{a+b}{2},$$而$$\mathrm{Var}X={\int }_a^b\frac{x^2}{b-a}\mathrm{d}x-(\mathbb{E}X{)}^2=\frac{1}{b-a}\left(\frac{b^3}{3}-\frac{a^3}{3}\right)-{\left(\frac{a+b}{2}\right)}^2=\frac{(a-b{)}^2}{12},$$

下表给出了常见分布的均值和方差.

分布	均值	方差
Bernoulli 分布 $\mathcal{B}(1,p)$	$p$	$p(1-p)$
二项分布 $\mathcal{B}(n,p)$	$np$	$np(1-p)$
Poisson 分布 $\mathcal{P}(\lambda )$	$\lambda$	$\lambda$
均匀分布 $\mathcal{U}(a,b)$	$(a+b)/2$	$(a-b{)}^2/12$
正态分布 $\mathcal{N}(\mu ,\sigma )$	$\mu$	$\sigma$
指数分布 $\mathcal{E}(\lambda )$	$1/\lambda$	$1/{\lambda }^2$

定义 6.0.16 (随机变量的独立性). 对概率空间 $(\Omega ,\mathcal{F},P)$ 上的一组随机变量 $X_1,X_2,\cdots ,X_m$, 如果任取 $A_1,$ $A_2,$ $\cdots ,$ $A_m\in \mathcal{F}$, 都有$$P(X_1\in A_1,X_2\in A_2,\cdots ,X_m\in A_m)=\prod _{i=1}^{m}P(X_i\in A_i),$$(6.15)则称 $X_1,X_2,\cdots ,X_m$ 是空间 $(\Omega ,\mathcal{F},P)$ 上的一组独立的随机变量. 特别地, 在 $m=2$ 时, 我们说 $X_1$ 和 $X_2$ 相互独立.

命题 6.0.17 (数学期望的性质). 设 $X_1,X_2,\cdots ,X_m$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的一组随机变量, $c_1,$ $c_2,$ $\cdots ,$ $c_m\in \mathbb{R}$, 则

•	$\mathbb{E}\left({\sum }_{i=1}^m{c}_i{X}_i\right)={\sum }_{i=1}^m{c}_i\mathbb{E}{X}_i$
•	如果 $X_1,\cdots ,X_m$ 是独立的, 则 $\mathbb{E}(X_1{X}_2\cdots X_m)=\mathbb{E}(X_1)\mathbb{E}(X_2)\cdots \mathbb{E}(X_m)$.

例 6.0.18. 本例说明, 命题 6.0.17 中的第二条性质中 “独立性” 的条件是不可或缺的. 设 $X$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的随机变量, $X\sim \mathcal{B}(0,1/2)$, 而 $Y=X$ (也就是对于任意 $\omega \in \Omega$, 有 $X(\omega )=Y(\omega )$), 则 $\mathbb{E}(XY)=\mathbb{E}(X^2)=p$, 而 $\mathbb{E}X\mathbb{E}Y=p^2$, 二者并不相等.

命题 6.0.19 (方差的性质). 设 $X_1,X_2,\cdots ,X_m$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的一组独立的随机变量, $c_1,$ $c_2,$ $\cdots ,$ $c_m\in \mathbb{R}$, 则$$\mathrm{Var}\left(\sum _{i=1}^n{c}_i{X}_i\right)=\sum _{i=1}^n{c}_i^2\mathrm{Var}{X}_i.$$