2.5. 期望与方差

离散型随机变量的分布列能够完整刻画其统计规律性, 但不一定能较为直观地给出随机变量取值上的一些特点. 本节中我们引入一些随机变量的数字特征, 这些数字特征能够更加直观地揭示随机变量取值在某些方面的性质.

我们首先介绍离散型随机变量的期望, 它是随机变量的所有取值相对于各自概率的加权平均.

定义 2.5.1. 设 $X$ 为离散型随机变量, $p_{X}$ 为其分布列. 若 $\sum_{x} ∣ x ∣ \cdot p_{X} (x)$ 收敛, 则定义 $X$ 的期望 (expected value 或 expectation) 为 $E [X] = x \sum x \cdot p_{X} (x) .$ 若 $\sum_{x} ∣ x ∣ \cdot p_{X} (x)$ 发散, 则称 $E [X]$ 不存在.

直观上, 我们可以把随机变量 $X$ 的期望 $E [X]$ 看作是最能代表 $X$ 的一个确定性数值. 此外, 由期望的定义式, 我们也可以将 $E [X]$ 直观理解为分布列 $p_{X}$ 的 “质心”.

定义 2.5.1 之所以要求 $\sum_{x} ∣ x ∣ \cdot p_{X} (x)$ 收敛时 $E [X]$ 才能存在, 是为了保证 $\sum_{x} x \cdot p_{X} (x)$ 的值与求和式中各项的排列顺序没有关系; 对此不太熟悉的读者可回顾数学分析中级数的绝对收敛以及黎曼重排定理的相关知识, 例如可参阅 [7] 第十八章第 5 节.

例 2.5.2. 设 $E$ 为任一事件, 则有 $E [1_{E}] = 1 \cdot P (E) + 0 \cdot P (E^{c}) = P (E) .$ 换句话说, 任一事件的概率就等于其指示函数的期望. 从该结论还可看出, 若一个随机变量服从参数为 $p$ 的伯努利分布, 则其期望就等于 $p$ .

接下来我们介绍一个计算期望的重要方法.

定理 2.5.3. 设 $X$ 为离散型随机变量, $p_{X}$ 为其分布列, $g : R \to R$ 为任意函数. 则 $E [g (X)]$ 存在当且仅当 $\sum_{x} ∣ g (x) ∣ \cdot p_{X} (x)$ 收敛, 且 $E [g (X)]$ 存在时有 $E [g (X)] = x \sum g (x) \cdot p_{X} (x) .$

类似地, 若 $(X, Y)$ 为离散型随机向量, $p_{X, Y}$ 为其分布列, $h : R^{2} \to R$ 为任意二元函数, 则 $E [h (X, Y)]$ 存在当且仅当 $\sum_{(x, y)} ∣ h (x, y) ∣ \cdot p_{X, Y} (x, y)$ 收敛, 且 $E [h (X, Y)]$ 存在时有 $E [h (X, Y)] = (x, y) \sum h (x, y) \cdot p_{X, Y} (x, y) .$

证明. 这里只给出二维随机向量情形的证明. 注意到

(X, Y)

为离散型随机向量时,

h (X, Y)

为离散型随机变量, 故

E [h (X, Y)]

存在当且仅当

z \sum z \cdot P (h (X, Y) = z)

绝对收敛, 且

E [h (X, Y)]

存在时即等于该求和式的值. 另一方面, 由例 2.3.4 可得

P (h (X, Y) = z) = (x, y) : h (x, y) = z \sum p_{X, Y} (x, y),

从而

z \sum z \cdot P (h (X, Y) = z) = = = z \sum z \cdot (x, y) : h (x, y) = z \sum p_{X, Y} (x, y) z \sum (x, y) : h (x, y) = z \sum h (x, y) \cdot p_{X, Y} (x, y) (x, y) \sum h (x, y) \cdot p_{X, Y} (x, y),

上式左端绝对收敛当且仅当右端绝对收敛 ¹. 综合以上结果即得待证等式.

$□$

在一些英文文献中, 定理 2.5.3 又被称为 law of the unconscious statistician (LOTUS). 该定理为计算随机变量函数的期望提供了一条简单的途径, 特别是我们并不需要先求出随机变量函数的分布.

以下定理则给出了期望的几条重要性质. 首先介绍的是期望的线性, 它不仅是期望最重要的理论性质之一, 而且在许多问题中是简化期望计算的重要工具.

定理 2.5.4 (期望的线性). 设 $X, Y$ 为离散型随机变量, 且 $E [X]$ 与 $E [Y]$ 均存在, $α, β$ 为任意两个实数. 则 $E [α X + β Y] = α E [X] + β E [Y] .$

证明. 将

(X, Y)

的联合分布列记为

p_{X, Y}

,

X

与

Y

各自的边缘分布列分别记为

p_{X}

与

p_{Y}

. 由定理 2.5.3 可得

E [α X + β Y] = (x, y) \sum (αx + β y) \cdot p_{X, Y} (x, y) = α x \sum x y \sum p_{X, Y} (x, y) + β y \sum y x \sum p_{X, Y} (x, y) = α x \sum x \cdot p_{X} (x) + β y \sum y \cdot p_{Y} (y) = α E [X] + β E [Y],

其中第三步用到了边缘分布列所满足的定理 2.3.5.

$□$

接下来的定理则给出了非负随机变量期望的基本性质.

定理 2.5.5. 设 $X$ 为离散型随机变量, 满足 $P (X \geq 0) = 1$ . 则如下命题成立:

1.	若 $E [X]$ 存在, 则 $E [X] \geq 0$ .
2.	$E [X] = 0$ 当且仅当 $P (X = 0) = 1$ .

证明. 记 $X$ 的分布列为 $p_{X}$ .

1.

由 $P (X \geq 0) = 1$ 可知, 当 $p_{X} (x) > 0$ 时必定有 $x \geq 0$ , 再由期望的定义式即可直接得到 $E [X] \geq 0$ .

2.

$P (X = 0) = 1 \Rightarrow E [X] = 0$ : 由 $P (X = 0) = 1$ 可得 $x \neq = 0$ 时有 $P (X = x) \leq P (X \neq = 0) = 0,$ 故对任意 $x \in R$ 均有 $x \cdot P (X = x) = 0$ , 代入期望的定义即得 $E [X] = 0$ .

$E [X] = 0 \Rightarrow P (X = 0) = 1$ : 当 $E [X] = 0$ 时, 由于期望定义式中求和的各项均非负, 可得 $p_{X} (x) > 0$ 时必定有 $x \cdot p_{X} (x) = 0$ , 从而 $p_{X} (x)$ 仅在 $x = 0$ 时为正数, 而在 $x \neq = 0$ 时均为零. 故 $1 = x \sum p_{X} (x) = p_{X} (0) = P (X = 0) .$ $□$

以下定理指出, 若两个随机变量相互独立, 则它们的乘积的期望等于各自期望的乘积.

定理 2.5.6. 设 $X, Y$ 为相互独立的离散型随机变量, 且二者的期望均存在, 则 $E [X Y] = E [X] \cdot E [Y] .$

证明. 由定理 2.4.2, 可得

(X, Y)

的联合分布列

p_{X, Y}

与边缘分布列

p_{X}, p_{Y}

满足

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y), \forall (x, y) \in R^{2},

故

E [X Y] = (x, y) \sum x y \cdot p_{X, Y} (x, y) = (x, y) \sum x y \cdot p_{X} (x) p_{Y} (y) = x \sum x \cdot p_{X} (x) y \sum y \cdot p_{Y} (y) = E [X] \cdot E [Y],

其中第三步把对

(x, y)

的多重求和变换为先对

y

再对

x

的累次求和, 其合法性可由

E [X]

与

E [Y]

的存在性保证.

$□$

方差

定义 2.5.7. 设 $X$ 为一离散型随机变量. 若 $E [X]$ 与 $E [(X - E [X])^{2}]$ 均存在, 则定义 $X$ 的方差 (variance) 为 $Var (X) = E [(X - E [X])^{2}],$ 并定义 $X$ 的标准差 (standard deviation) 为 $σ (X) = Var (X)$ .

若 $E [X]$ 或 $E [(X - E [X])^{2}]$ 不存在, 则称 $Var (X)$ 不存在.

根据方差的定义, 我们可以直观上认为 $Var (X)$ 度量了 $X$ 的取值相对于期望 $E [X]$ 的分散/偏离/波动程度, 也就是说, $Var (X)$ 越大, 则 $X$ 的取值相对于 $E [X]$ 的分散/偏离/波动的程度也就越大, 而 $Var (X)$ 越小, 则 $X$ 的取值越集中于 $E [X]$ 附近. 这个直观解释可以由如下等式进一步佐证: $Var (a X + b) = a^{2} Var (X),$ (2.5.1)其中 $a, b$ 为任意实数. 换句话说, 对 $X$ 的取值进行整体性的平移不会改变其方差, 而若对其取值进行倍数为 $a$ 的放缩, 则方差将变为原来的 $a^{2}$ 倍. 该等式的证明是直接的: $Var (a X + b) = E [(a X + b - E [a X + b])^{2}] = E [(a X - a E [X])^{2}] = a^{2} E [(X - E [X])^{2}] = a^{2} Var (X) .$

将 $(X - E [X])^{2}$ 展开并利用期望的线性不难算得 $Var (X) = E [X^{2}] - (E [X])^{2} .$ (2.5.2)在许多情况下用上式计算方差会更加方便.

例 2.5.8. 设 $X$ 服从参数为 $p$ 的伯努利分布, 则 $Var (X) = E [X^{2}] - (E [X])^{2} = 1^{2} \cdot p + 0^{2} \cdot (1 - p) - p^{2} = p (1 - p) .$ $□$

接下来的定理指出, 相互独立的随机变量的和的方差等于它们的方差的和. 这个便利的性质也是人们更愿意用方差来衡量随机变量相对于期望分散程度的原因之一.

定理 2.5.9. 设 $X_{1}, \dots, X_{n}$ 相互独立, 且它们的方差存在, 则 $Var (i = 1 \sum n X_{i}) = i = 1 \sum n Var (X_{i}) .$

证明. 这里只给出 $n = 2$ 时的证明. 一般情形的证明是类似的.

由方差的定义与期望的线性, 可得

Var (X_{1} + X_{2}) = = = = E [(X_{1} + X_{2} - E [X_{1} + X_{2}])^{2}] E [(X_{1} - E [X_{1}])^{2}] + E [(X_{2} - E [X_{2}])^{2}] + 2 E [(X_{1} - E [X_{1}]) (X_{2} - E [X_{2}])] Var (X_{1}) + Var (X_{2}) + 2 E [(X_{1} - E [X_{1}])] \cdot E [(X_{2} - E [X_{2}])] Var (X_{1}) + Var (X_{2}),

其中第三步来自于

X_{1}

与

X_{2}

的独立性. 定理得证.

$□$

脚注

1.	^ 这里实际上涉及到了绝对收敛级数的重排定理, 对此有了解的读者可进一步验证相关的推导细节. 也可参考附录 A.1 中的定理 A.1.2.

名字空间

视图

2.5. 期望与方差

方差

脚注