4.2. 协方差与相关系数

让我们考虑这样一个问题: 给定两个随机变量 $X,Y$, 它们的和 $X+Y$ 的方差等于什么? 由方差的定义可得$$\begin{array}{rl}\mathrm{Var}(X+Y)& =\mathbb{E}\left[(X-\mathbb{E}[X]+Y-\mathbb{E}[Y]{)}^2\right]\\ & =\mathbb{E}\left[(X-\mathbb{E}[X]{)}^2\right]+\mathbb{E}\left[(Y-\mathbb{E}[Y]{)}^2\right]+2\mathbb{E}\left[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])\right].\end{array}$$我们看到 $X+Y$ 的方差不仅包含了 $X$ 的方差与 $Y$ 的方差的和, 还包括了一个交叉项 $\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$. 我们将这个交叉项定义为随机变量 $X$ 与 $Y$ 的协方差.

定义 4.2.1. 给定随机变量 $X,Y$, 设 $\mathbb{E}[X]$ 与 $\mathbb{E}[Y]$ 均存在. 若期望$$\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$$存在, 则将该期望称作 $X$ 与 $Y$ 的协方差 (covariance), 记作 $\mathrm{Cov}(X,Y)$ 或 ${\sigma }_{XY}$.

由定义不难看出协方差具有对称性 $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$, 且方差其实是协方差的一个特例, 即 $\mathrm{Var}(X)=\mathrm{Cov}(X,X)$. 我们将协方差 $\mathrm{Cov}(X,Y)$ 的定义式展开, 可得$$\begin{array}{rl}\mathrm{Cov}(X,Y)=& \mathbb{E}\left[XY-\mathbb{E}[X]Y-X\mathbb{E}[Y]-\mathbb{E}[X]\mathbb{E}[Y]\right]\\ =& \mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y].\end{array}$$在许多场合中用上式计算协方差是更加方便的.

以下命题指出, 协方差具有 “双线性” 的性质.

命题 4.2.2. 设 $X_1,\dots ,X_m$ 与 $Y_1,\dots ,Y_n$ 为两组随机变量, 且协方差 $\mathrm{Cov}(X_i,Y_j)$ 对任意 $i=1,\dots ,m$ 与 $j=1,\dots ,n$ 均存在. ${\alpha }_1,\dots ,{\alpha }_m$ 与 ${\beta }_1,\dots ,{\beta }_n$ 为两组取值任意的实数, 则有$$\mathrm{Cov}\left(\sum _{i=1}^m{\alpha }_i{X}_i,\sum _{j=1}^n{\beta }_j{Y}_j\right)=\sum _{i=1}^m\sum _{j=1}^n{\alpha }_i{\beta }_j\mathrm{Cov}(X_i,Y_j).$$

证明. 由协方差的定义与期望的线性, 可得$$\begin{array}{rl}\mathrm{Cov}\left(\sum _{i=1}^m{\alpha }_i{X}_i,\sum _{j=1}^n{\beta }_j{Y}_j\right)=& \mathbb{E}\left[\left(\sum _{i=1}^m{\alpha }_i{X}_i-\mathbb{E}\left[\sum _{i=1}^m{\alpha }_i{X}_i\right]\right)\left(\sum _{j=1}^n{\beta }_j{Y}_j-\mathbb{E}\left[\sum _{j=1}^n{\beta }_j{Y}_j\right]\right)\right]\\ =& \mathbb{E}\left[\left(\sum _{i=1}^m{\alpha }_i(X_i-\mathbb{E}[X_i])\right)\left(\sum _{j=1}^n{\beta }_j(Y_j-\mathbb{E}[Y_j])\right)\right]\\ =& \sum _{i=1}^m\sum _{j=1}^N{\alpha }_i{\beta }_j\mathbb{E}\left[(X_i-\mathbb{E}[X_i])(Y_j-\mathbb{E}[Y_j])\right]\\ =& \sum _{i=1}^m\sum _{j=1}^N{\alpha }_i{\beta }_j\mathrm{Cov}(X_i,Y_j).\end{array}$$证毕.

$\square$

例 4.2.3. 设 $X,Y$ 为两个随机变量, 二者各自的方差与协方差均存在, 且 $\mathrm{Var}(X)>0$. 我们考虑如何用 $X$ 的一次函数 $\beta X+\alpha$ 来近似 $Y$. 具体而言, 我们希望找到 $\alpha ,\beta \in \mathbb{R}$ 使得近似误差的均方值$$\mathbb{E}\left[(Y-(\beta X+\alpha ){)}^2\right]$$达到最小.

为求得最优的 $\alpha$ 与 $\beta$, 首先注意到$$\begin{array}{rl}& \mathbb{E}\left[(Y-(\beta X+\alpha ){)}^2\right]\\ =& \mathbb{E}\left[{\left(\left[Y-\mathbb{E}[Y]-\beta (X-\mathbb{E}[X])\right]+\left[\mathbb{E}[Y]-\left(\beta \mathbb{E}[X]+\alpha \right)\right]\right)}^2\right]\\ =& \mathbb{E}\left[{\left(Y-\mathbb{E}[Y]-\beta (X-\mathbb{E}[X])\right)}^2\right]+\mathbb{E}\left[{\left(\mathbb{E}[Y]-\left(\beta \mathbb{E}[X]+\alpha \right)\right)}^2\right]\\ & +2\mathbb{E}\left[\left(Y-\mathbb{E}[Y]-\beta (X-\mathbb{E}[X])\right)\left(\mathbb{E}[Y]-\left(\beta \mathbb{E}[X]+\alpha \right)\right)\right]\\ =& \mathbb{E}\left[{\left(Y-\mathbb{E}[Y]-\beta (X-\mathbb{E}[X])\right)}^2\right]+{\left(\mathbb{E}[Y]-\left(\beta \mathbb{E}[X]+\alpha \right)\right)}^2\\ =& \mathrm{Var}(X){\left(\beta -\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}\right)}^2+{\left(\alpha -\left(\mathbb{E}[Y]-\beta \mathbb{E}[X]\right)\right)}^2+\mathrm{Var}(Y)-\frac{{\left(\mathrm{Cov}(X,Y)\right)}^2}{\mathrm{Var}(X)}.\end{array}$$观察上式右端的形式不难看出, 若要使 $\mathbb{E}\left[(Y-(\beta X+\alpha ){)}^2\right]$ 取到最小值, 则 $\beta$ 与 $\alpha$ 应满足$$\begin{array}{rl}\beta =& \frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)},\\ \alpha =& \mathbb{E}[Y]-\beta \mathbb{E}[X]=\mathbb{E}[Y]-\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}\mathbb{E}[X].\end{array}$$也就是说, 若以误差的均方值为衡量标准, 则$$f^{\ast }(X)=\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}\cdot \left(X-\mathbb{E}[X]\right)+\mathbb{E}[Y]$$(4.2.1)是在所有 $X$ 的一次函数中对 $Y$ 的最佳近似. 此外, 不难得到最佳近似导致的误差的均方值为$$\mathbb{E}\left[(Y-f^{\ast }(X){)}^2\right]=\mathrm{Var}(Y)-\frac{(\mathrm{Cov}(X,Y){)}^2}{\mathrm{Var}(X)}.$$(4.2.2) $\square$

式 (4.2.1) 进一步揭示了协方差 $\mathrm{Cov}(X,Y)$ 的直观意义:

1.	当 $\mathrm{Cov}(X,Y)>0$ 时, 最佳近似 $f^{\ast }(X)$ 中 $X$ 的系数是正的. 直观上看, 这可以解释为当 $X$ 的取值增加时, $Y$ 的取值具有增加的趋势. 此时我们称 $X$ 与 $Y$ 正相关 (positively correlated).
2.	类似地, $\mathrm{Cov}(X,Y)<0$ 的情形可以直观解释为当 $X$ 的取值增加时, $Y$ 的取值具有减小的趋势. 此时我们称 $X$ 与 $Y$ 负相关 (negatively correlated).
3.	当 $\mathrm{Cov}(X,Y)=0$ 时, 直观上可认为 $X$ 取值的增减对 $Y$ 取值的变化趋势没有影响. 此时我们称 $X$ 与 $Y$ 不相关 (uncorrelated). 由式 (4.2) 可得 $X$ 与 $Y$ 不相关的充要条件是 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$. 不难看出若 $X$ 与 $Y$ 相互独立且二者的期望均存在, 则 $X$ 与 $Y$ 不相关; 但需注意该结论的逆命题不成立: $X$ 与 $Y$ 不相关推不出 $X$ 与 $Y$ 相互独立.

例 4.2.4. 记 $\mathbb{D}=\{(x,y)\in {\mathbb{R}}^2\mid x^2+y^2\le 1\}$, $(X,Y)$ 为连续型随机向量且联合概率密度函数为$$f_{X,Y}(x,y)=\{\begin{array}{ll}\frac{1}{\pi },& (x,y)\in \mathbb{D},\\ 0,& (x,y)\notin \mathbb{D}.\end{array}$$则由对称性不难看出 $\mathbb{E}[X]=\mathbb{E}[Y]=0$ 以及$$\mathbb{E}[XY]={\iint }_{\mathbb{D}}xy\cdot \frac{1}{\pi }\mathrm{d}x\mathrm{d}y=0.$$从而$$\mathrm{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]=0,$$即 $X$ 与 $Y$ 不相关. 另一方面, $X$ 的边缘分布分别为$$f_X(x)={\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)\mathrm{d}y=\{\begin{array}{ll}\frac{2}{\pi }\sqrt{1-x^2},& |x|<1,\\ 0,& |x|\ge 1.\end{array}$$并由对称性可得 $f_Y=f_X$, 从而$$\begin{array}{rl}\mathbb{P}\left(X>\sqrt{2}/2\right)\cdot \mathbb{P}\left(Y>\sqrt{2}/2\right)=& {\int }_{\sqrt{2}/2}^1\frac{2}{\pi }\sqrt{1-x^2}\mathrm{d}x{\int }_{\sqrt{2}/2}^1\frac{2}{\pi }\sqrt{1-y^2}\mathrm{d}y\\ =& {\left(\frac{\pi -2}{4\pi }\right)}^2,\end{array}$$但显然有 $\mathbb{P}\left(X>\sqrt{2}/2,Y>\sqrt{2}/2\right)=0$, 故 $X$ 与 $Y$ 不相互独立.

下面我们给出两个反例, 提醒读者在处理不相关的随机变量时需小心, 有些对于相互独立随机变量成立的性质不一定能推广到互不相关的随机变量上.

例 4.2.5. 设 $X,Y$ 相互独立且均服从参数为 $1/2$ 的伯努利分布. 令$$Z=1_{\{X\ne Y\}}=\{\begin{array}{ll}0,& \text{若}X=Y,\\ 1,& \text{若}X\ne Y.\end{array}$$显然 $X,Y$ 不相关. 而由$$\mathbb{E}[Z]=1\cdot \mathbb{P}(Z=1)=\frac{1}{2}$$以及$$\mathbb{E}[XZ]=1\cdot \mathbb{P}(XZ=1)=\mathbb{P}(X=1,Z=1)=\mathbb{P}(X=1,Y=0)=\frac{1}{4}$$可得 $\mathbb{E}[XZ]=\mathbb{E}[X]\mathbb{E}[Z]$, 故 $X,Z$ 不相关. 同理可得 $Y,Z$ 不相关. 因而 $X,Y,Z$ 这三个随机变量两两互不相关. 但另一方面, 不难看出乘积 $XYZ$ 总是等于 $0$, 故$$\mathbb{E}[XYZ]=0\ne \mathbb{E}[X]\mathbb{E}[Y]\mathbb{E}[Z].$$这说明对于三个或三个以上两两互不相关的随机变量, “乘积的期望等于期望的乘积” 这一性质一般不再成立.

例 4.2.6. 设 $X\sim \mathcal{N}(0,1)$, $Y=|X|$. 则$$\mathbb{E}[XY]={\int }_{-\infty }^{+\infty }x|x|\cdot f_X(x)\mathrm{d}x=0,$$其中我们利用了期望的 LOTUS. 故 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$, 也就是说 $X$ 与 $Y$ 不相关. 另一方面, 令 $f(x)=|x|,g(y)=y$, 则显然 $f(X)=|X|=Y$ 与 $g(Y)=Y$ 不是互不相关的. 这说明 “互不相关的随机变量各自被函数作用后依然互不相关” 一般是不成立的, 这与随机变量相互独立的情形是不同的.

以下定理指出, 两两不相关的随机变量和的方差等于这些随机变量方差的和.

定理 4.2.7. 设随机变量 $X_1,\dots ,X_n$ 两两不相关且方差均存在, 则$$\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\mathrm{Var}(X_i).$$

证明. 由方差定义以及期望的线性可得$$\begin{array}{rl}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=& \mathbb{E}\left[{\left(\sum _{i=1}^n{X}_i-\mathbb{E}\left[\sum _{i=1}^n{X}_i\right]\right)}^2\right]=\mathbb{E}\left[{\left(\sum _{i=1}^n(X_i-\mathbb{E}[X_i])\right)}^2\right]\\ =& \mathbb{E}\left[\sum _{i=1}^n\sum _{j=1}^n(X_i-\mathbb{E}[X_i])(X_j-\mathbb{E}[X_j])\right]\\ =& \sum _{i=1}^n\mathbb{E}\left[(X_i-\mathbb{E}[X_i]{)}^2\right]+\sum _{i\ne j}\mathbb{E}\left[(X_i-\mathbb{E}[X_i])(X_j-\mathbb{E}[X_j])\right]\\ =& \sum _{i=1}^n\mathrm{Var}(X_i)+2\sum _{i=1}^{n-1}\sum _{j=i+1}^n\mathrm{Cov}(X_i,X_j).\end{array}$$由于 $X_1,\dots ,X_n$ 两两不相关, 可知 $i\ne j$ 时交叉项 $\mathrm{Cov}(X_i,X_j)$ 均等于 $0$, 故$$\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\mathbb{E}\left[(X_i-\mathbb{E}[X_i]{)}^2\right]=\sum _{i=1}^n\mathrm{Var}(X_i).$$$\square$

相关系数

现假设 $\mathrm{Var}(X)>0$ 且 $\mathrm{Var}(Y)>0$. 由式 (4.2.2) 以及 $\mathbb{E}\left[(Y-f^{\ast }(X){)}^2\right]\ge 0$, 可得$$|\mathrm{Cov}(X,Y)|\le \sigma (X)\sigma (Y),$$其中 $\sigma (X)=\sqrt{\mathrm{Var}(X)}$ 与 $\sigma (Y)=\sqrt{\mathrm{Var}(Y)}$ 分别为 $X$ 与 $Y$ 的标准差. 这提示我们可以对 $\mathrm{Cov}(X,Y)$ 进行归一化来更好地刻画两个随机变量之间的相关性.

定义 4.2.8. 给定两个随机变量 $X,Y$, 并设 $\mathrm{Var}(X)>0$, $\mathrm{Var}(Y)>0$. 则其相关系数 (correlation) 被定义为$$\frac{\mathrm{Cov}(X,Y)}{\sigma (X)\sigma (Y)}.$$通常将 $X$ 与 $Y$ 的相关系数记为 ${\rho }_{XY}$.

相关系数 ${\rho }_{XY}$ 的取值范围为 $[-1,1]$, 且

1.

${\rho }_{XY}>0$ 时 $X$ 与 $Y$ 正相关, ${\rho }_{XY}<0$ 时 $X$ 与 $Y$ 负相关, ${\rho }_{XY}=0$ 时 $X$ 与 $Y$ 不相关.

2.

令 $f^{\ast }(X)=\beta X+\alpha$ 为例 4.2.3 给出的 $X$ 的一次函数中对 $Y$ 的最佳近似. 我们考虑用 $\beta (X-\mathbb{E}[X])$ 近似 $Y-\mathbb{E}[Y]$ 所导致的相对均方误差: $$\frac{\mathbb{E}\left[{\left(Y-\mathbb{E}[Y]-\beta (X-\mathbb{E}[X])\right)}^2\right]}{\mathrm{Var}(Y)}=\frac{\mathbb{E}[(Y-f^{\ast }(X){)}^2]}{\mathrm{Var}(Y)}=1-{\rho }_{XY}^2.$$因此 $|{\rho }_{XY}|$ 越接近于 $1$, 则 $\beta (X-\mathbb{E}[X])$ 近似 $Y-\mathbb{E}[Y]$ 的相对均方误差越小. 换句话说, $|{\rho }_{XY}|$ 越接近于 $1$, 则可以认为 $Y-\mathbb{E}[Y]$ 与 $X-\mathbb{E}[X]$ 之间具有越显著的线性关系. 特别地, ${\rho }_{XY}=1$ 当且仅当存在 $c>0$ 使得 $Y-\mathbb{E}[Y]=c(X-\mathbb{E}[X])$ 几乎必然成立, 而 ${\rho }_{XY}=-1$ 当且仅当存在 $c<0$ 使得 $Y-\mathbb{E}[Y]=c(X-\mathbb{E}[X])$ 几乎必然成立.

上述结论中 ${\rho }_{XY}=\pm 1$ 的充要条件的证明留作习题 4.6.8.