4.5. (⋆) 二维正态分布

定义 4.5.1. 设 $\mathbf{X}=(X_1,X_2)$ 为连续型随机向量, $\mathbf{\mu }\in {\mathbb{R}}^2$ 为实向量, $\mathbf{\Sigma }\in {\mathbb{R}}^{2\times 2}$ 为实对称正定矩阵. 我们称 $\mathbf{X}$ 服从参数为 $(\mathbf{\mu },\mathbf{\Sigma })$ 的正态分布或高斯分布 (normal/Gaussian distribution) 并记为 $\mathbf{X}\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, 若 $\mathbf{X}$ 的联合概率密度函数可表示为$$f_{\mathbf{X}}(\mathbf{x})=c\cdot \exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathsf{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right],\forall \mathbf{x}\in {\mathbb{R}}^2,$$(4.5.1)其中 $c$ 为某个正实数.

利用 ${\iint }_{{\mathbb{R}}^2}{f}_{\mathbf{X}}(\mathbf{x})\mathrm{d}\mathbf{x}=1$, 可求得式 (4.5.1) 中的常数 $c$ 为$$c=\frac{1}{\sqrt{(2\pi {)}^2\cdot \det \mathbf{\Sigma }}}.$$我们将具体的计算过程放在了习题 4.6.23 中.

本节随后的重点是给出二维正态分布的几个核心性质:

1.	正态分布的参数 $\mathbf{\mu },\mathbf{\Sigma }$ 直接给出了期望、方差与协方差信息.
2.	二维正态分布的边缘分布为一维正态分布.
3.	服从二维正态分布的随机向量经过可逆仿射变换后仍服从二维正态分布.

为了一步步推导上述性质, 我们从几个引理入手.

引理 4.5.2. 设 $\mathbf{X}=(X_1,X_2)$ 服从正态分布 $\mathcal{N}(0,\mathbf{I})$, 则 $X_1,X_2$ 相互独立, 且 $X_1,X_2$ 各自均服从标准正态分布 $\mathcal{N}(0,1)$.

引理 4.5.2 的证明思路是非常直接的: 为了证明 $X_1,X_2$ 独立, 只需考察 $f_{\mathbf{X}}(x_1,x_2)$ 是否能写为一个关于 $x_1$ 的函数与一个关于 $x_2$ 的函数的乘积, 而对这两个函数分别归一化即可得到边缘概率密度函数; 我们将具体的证明步骤留给读者自己完成．

引理 4.5.3. 设 $\mathbf{\mu }\in {\mathbb{R}}^2$, 而 $\mathbf{\Sigma }\in {\mathbb{R}}^{2\times 2}$ 为实对称正定矩阵, 随机向量 $\mathbf{X}\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$．则存在可逆矩阵 $\mathbf{A}\in {\mathbb{R}}^{2\times 2}$ 以及随机向量 $\mathbf{Z}\sim \mathcal{N}(0,\mathbf{I})$ 满足$$\mathbf{X}=\mathbf{A}\mathbf{Z}+\mathbf{\mu },\mathbf{A}{\mathbf{A}}^{\mathsf{T}}=\mathbf{\Sigma }.$$

证明. 这里给出的证明需要一些线性代数的知识, 对此比较生疏的读者可阅读附录 A.3 进行回顾.

因 $\mathbf{\Sigma }$ 为实对称正定矩阵, 故可对其做特征值分解: $$\mathbf{\Sigma }=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathsf{T}},$$其中 $\mathbf{\Lambda }\in {\mathbb{R}}^{2\times 2}$ 为一对角阵, 其对角元 ${\lambda }_1,{\lambda }_2$ 均大于 $0$, 而 $\mathbf{Q}\in {\mathbb{R}}^{2\times 2}$ 为正交阵, 满足 ${\mathbf{Q}}^{\mathsf{T}}\mathbf{Q}=\mathbf{Q}{\mathbf{Q}}^{\mathsf{T}}=\mathbf{I}$．令$$\mathbf{A}=\mathbf{Q}\tilde{\mathbf{\Lambda }}{\mathbf{Q}}^{\mathsf{T}},\text{其中}\tilde{\mathbf{\Lambda }}=\left[\begin{array}{cc}\sqrt{{\lambda }_1}& 0\\ 0& \sqrt{{\lambda }_2}\end{array}\right],$$则不难看出 $\mathbf{A}$ 为对称阵, 且由于 $\tilde{\mathbf{\Lambda }}$ 的对角元均大于 $0$, 可知 $\mathbf{A}$ 可逆．此外, $$\begin{array}{rl}{\mathbf{A}}^2& =\mathbf{Q}\tilde{\mathbf{\Lambda }}{\mathbf{Q}}^{\mathsf{T}}\mathbf{Q}\tilde{\mathbf{\Lambda }}{\mathbf{Q}}^{\mathsf{T}}=\mathbf{Q}{\tilde{\mathbf{\Lambda }}}^2{\mathbf{Q}}^{\mathsf{T}}=\mathbf{Q}{\mathbf{\Lambda }}^2{\mathbf{Q}}^{\mathsf{T}}=\mathbf{\Sigma }.\end{array}$$接下来, 令$$\mathbf{Z}={\mathbf{A}}^{-1}(\mathbf{X}-\mathbf{\mu }),$$则有 $\mathbf{X}=\mathbf{A}\mathbf{Z}+\mathbf{\mu }$, 且由推论 4.1.10 可得$$\begin{array}{rl}{f}_{\mathbf{Z}}(\mathbf{z})& =f_{\mathbf{X}}\left(\mathbf{A}\mathbf{z}+\mathbf{\mu }\right)\cdot |\det \mathbf{A}|\\ & =\frac{1}{\sqrt{(2\pi {)}^2\det \mathbf{\Sigma }}}\exp \left(-\frac{{\mathbf{z}}^{\mathsf{T}}\mathbf{A}{\mathbf{\Sigma }}^{-1}\mathbf{A}\mathbf{z}}{2}\right)\cdot \sqrt{\det \left({\mathbf{A}}^2\right)}\\ & =\frac{\sqrt{\det \mathbf{\Sigma }}}{\sqrt{(2\pi {)}^2\det \mathbf{\Sigma }}}\exp \left(-\frac{{\mathbf{z}}^{\mathsf{T}}\mathbf{A}{\left({\mathbf{A}}^2\right)}^{-1}\mathbf{A}\mathbf{z}}{2}\right)=\frac{1}{\sqrt{(2\pi {)}^2}}\exp \left(-\frac{{\mathbf{z}}^{\mathsf{T}}\mathbf{z}}{2}\right),\end{array}$$故 $\mathbf{Z}\sim \mathcal{N}(0,\mathbf{I})$, 引理得证．

$\square$

接下来我们即可考察正态分布参数 $\mathbf{\mu }$ 与 $\mathbf{\Sigma }$ 的具体意义．

命题 4.5.4. 设 $\mathbf{X}=(X_1,X_2)\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$. 则$$\mathbf{\mu }=\left[\begin{array}{c}\mathbb{E}[X_1]\\ \mathbb{E}[X_2]\end{array}\right],\mathbf{\Sigma }=\left[\begin{array}{cc}\mathrm{Var}(X_1)& \mathrm{Cov}(X_1,X_2)\\ \mathrm{Cov}(X_2,X_1)& \mathrm{Var}(X_2)\end{array}\right].$$

证明. 先考虑 $\mathbf{X}\sim \mathcal{N}(0,\mathbf{I})$ 的情况．由引理 4.5.2, 可得 $X_1,X_2$ 相互独立, 且每个 $X_i$ 均服从 $\mathcal{N}(0,1)$．故$$\mathbb{E}[X_1]=\mathbb{E}[X_2]=0,\mathrm{Var}(X_1)=\mathrm{Var}(X_2)=1,$$以及$$\mathrm{Cov}(X_1,X_2)=\mathrm{Cov}(X_2,X_1)=\mathbb{E}[(X_1-\mathbb{E}[X_1])(X_2-\mathbb{E}[X_2])]=0,$$故待证命题对于 $\mathbf{\mu }=0,\mathbf{\Sigma }=\mathbf{I}$ 的情形成立.

接下来考虑一般情形．记$$\mathbf{\mu }=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\mathbf{\Sigma }=\left[\begin{array}{cc}{\sigma }_{11}& {\sigma }_{12}\\ {\sigma }_{21}& {\sigma }_{22}\end{array}\right].$$由引理 4.5.3 可得, 存在可逆矩阵 $\mathbf{A}=\left[a_{ij}\right]\in {\mathbb{R}}^{2\times 2}$ 以及随机向量 $\mathbf{Z}=(Z_1,Z_2)\sim \mathcal{N}(0,\mathbf{I})$ 满足 $\mathbf{X}=\mathbf{A}\mathbf{Z}+\mathbf{\mu }$ 以及 $\mathbf{A}{\mathbf{A}}^{\mathsf{T}}=\mathbf{\Sigma }$, 即$$\begin{array}{rl}{X}_i& =\sum _j{a}_{ij}{Z}_j+{\mu }_i,\forall i,\text{以及}\sum _j{a}_{ij}{a}_{kj}={\sigma }_{ik},\forall i,k.\end{array}$$对 $X_i$ 取期望即得到$$\mathbb{E}[X_i]=\sum _j{a}_{ij}\mathbb{E}[Z_j]+{\mu }_i={\mu }_i,i=1,2.$$而 $X_i$ 的方差则为$$\begin{array}{rl}\mathrm{Var}(X_i)& =\mathrm{Var}\left(\sum _j{a}_{ij}{Z}_j+{\mu }_i\right)\\ & =\sum _j{a}_{ij}^2\mathrm{Var}(Z_j)=\sum _j{a}_{ij}^2={\sigma }_{ii},i=1,2,\end{array}$$其中我们利用了定理 4.2.7 以及式 (2.5.1). $X_1$ 与 $X_2$ 的协方差则为$$\begin{array}{rl}\mathrm{Cov}(X_1,X_2)& =\mathbb{E}\left[(X_1-\mathbb{E}[X_1])(X_2-\mathbb{E}[X_2])\right]\\ & =\mathbb{E}\left[\left(\sum _j{a}_{1j}{Z}_j\right)\left(\sum _k{a}_{2k}{Z}_k\right)\right]\\ & =\sum _{j,k}{a}_{1j}{a}_{2k}\mathbb{E}[Z_j{Z}_k]=\sum _j{a}_{1j}{a}_{2j}={\sigma }_{12}.\end{array}$$证毕.

$\square$

在搞清了二维正态分布参数的意义后, 我们可以将二维正态分布的密度函数写成另外一种形式: 设 $\mathbf{X}=(X_1,X_2)$ 服从二维正态分布, 令 ${\mu }_i=\mathbb{E}[X_i]$, ${\sigma }_i=\sqrt{\mathrm{Var}(X_i)}$, $\rho$ 为 $X_1,X_2$ 的相关系数, 则由$$\begin{array}{rl}{\left[\begin{array}{cc}\mathrm{Var}(X_1)& \mathrm{Cov}(X_1,X_2)\\ \mathrm{Cov}(X_2,X_1)& \mathrm{Var}(X_2)\end{array}\right]}^{-1}& ={\left[\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right]}^{-1}\\ & =\frac{1}{1-{\rho }^2}\left[\begin{array}{cc}{\sigma }_1^{-2}& -\rho ({\sigma }_1{\sigma }_2{)}^{-1}\\ -\rho ({\sigma }_1{\sigma }_2{)}^{-1}& {\sigma }_2^{-2}\end{array}\right],\end{array}$$可得$$\begin{array}{rl}{f}_{\mathbf{X}}(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \{& -\frac{1}{2(1-{\rho }^2)}[{\left(\frac{x_1-{\mu }_1}{{\sigma }_1}\right)}^2\\ & -2\rho \frac{(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+{\left(\frac{x_2-{\mu }_2}{{\sigma }_2}\right)}^2\left]\right\}.\end{array}$$

下面我们考虑二维正态分布的边缘分布.

定理 4.5.5. 设 $\mathbf{X}=(X_1,X_2)$ 服从二维正态分布, 则 $X_1$ 与 $X_2$ 各自均服从一维正态分布.

证明. 为了证明上的简洁, 不妨设 $(X_1,X_2)\sim \mathcal{N}(0,\mathbf{\Sigma })$, 其中 $\mathbf{\Sigma }$ 正定; 一般情形的证明方法是类似的．

记 $\mathbf{\Xi }=\left[{\xi }_{ij}\right]={\mathbf{\Sigma }}^{-1}$, 则 $\mathbf{\Xi }$ 也是正定矩阵, 其对角元 ${\xi }_{22}$ 大于 $0$．将 ${\mathbf{x}}^{\mathsf{T}}\mathbf{\Xi }\mathbf{x}$ 展开: $$\begin{array}{rl}{\mathbf{x}}^{\mathsf{T}}\mathbf{\Xi }\mathbf{x}& ={\xi }_{11}{x}_1^2+{\xi }_{22}{x}_2^2+2{\xi }_{12}{x}_1{x}_2\\ & =\left({\xi }_{11}-\frac{{\xi }_{12}^2}{{\xi }_{22}}\right)x_1^2+{\xi }_{22}{\left(x_2+\frac{{\xi }_{12}}{{\xi }_{22}}{x}_1\right)}^2,\end{array}$$(4.5.2)其中我们对 ${\xi }_{22}{x}_2^2+2{\xi }_{12}{x}_1{x}_2$ 做了配方. 由此得 $f_{\mathbf{X}}(\mathbf{x})$ 可表示为$$\begin{array}{rl}{f}_{\mathbf{X}}(\mathbf{x})=& \frac{1}{\sqrt{(2\pi {)}^2\det \mathbf{\Sigma }}}\exp \left[-\frac{1}{2}\left({\xi }_{11}-\frac{{\xi }_{12}^2}{{\xi }_{22}}\right)x_1^2\right]\cdot \exp \left[-\frac{1}{2}{\xi }_{22}{\left(x_2+\frac{{\xi }_{12}}{{\xi }_{22}}{x}_1\right)}^2\right].\end{array}$$将上式对 $x_2$ 在实数轴上求积分, 即得到$$\begin{array}{rl}{f}_{X_1}(x_1)=& \exp \left[-\frac{1}{2}\left({\xi }_{11}-\frac{{\xi }_{12}^2}{{\xi }_{22}}\right)x_1^2\right]\cdot {\int }_{-\infty }^{+\infty }\frac{\exp \left[-\frac{1}{2}{\xi }_{22}{\left(x_2+{\xi }_{12}{x}_1/{\xi }_{22}\right)}^2\right]}{\sqrt{(2\pi {)}^2\det \mathbf{\Sigma }}}\mathrm{d}{x}_2.\end{array}$$对上式右端的积分做换元 $y=x_2+{\xi }_{12}{x}_1/{\xi }_{22}$ 后, 不难看出该积分为一个与 $x_1$ 无关的常数, 将这个常数暂记为 $c$, 则有$$f_{X_1}(x_1)=c\cdot \exp \left[-\frac{1}{2}\left({\xi }_{11}-\frac{{\xi }_{12}^2}{{\xi }_{22}}\right)x_1^2\right].$$而由式 (4.5.2) 可看出 ${\xi }_{11}-{\xi }_{12}^2/{\xi }_{22}>0$: 否则可以令 $x_1\ne 0$ 以及 $x_2=-{\xi }_{12}{x}_1/{\xi }_{22}$, 则此时 $\mathbf{x}=(x_1,x_2)$ 非零且满足 ${\mathbf{x}}^{\mathsf{T}}\mathbf{\Xi }\mathbf{x}\le 0$, 与 $\mathbf{\Xi }$ 是正定矩阵相矛盾．再结合上式给出的 $f_{X_1}$ 的表达式, 即可看出 $X_1$ 服从某个一维正态分布．同理可得 $X_2$ 服从某个一维正态分布.

$\square$

接下来, 我们证明正态分布的随机变量经过可逆的仿射变换后依然服从正态分布.

定理 4.5.6. 设 $\mathbf{X}=(X_1,X_2)\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, $\mathbf{M}\in {\mathbb{R}}^{2\times 2}$ 为一可逆矩阵, $\mathbf{\eta }\in {\mathbb{R}}^2$, 则随机向量$$\mathbf{Y}=\mathbf{M}\mathbf{X}+\mathbf{\eta }$$服从正态分布 $\mathcal{N}\left(\mathbf{M}\mathbf{\mu }+\mathbf{\eta },\mathbf{M}\mathbf{\Sigma }{\mathbf{M}}^{\mathsf{T}}\right)$．

证明. 由引理 4.5.3 可知, 存在可逆矩阵 $\mathbf{A}\in {\mathbb{R}}^{2\times 2}$ 以及随机向量 $\mathbf{Z}\sim \mathcal{N}(0,\mathbf{I})$ 满足 $\mathbf{X}=\mathbf{A}\mathbf{Z}+\mathbf{\mu }$ 以及 $\mathbf{A}{\mathbf{A}}^{\mathsf{T}}=\mathbf{\Sigma }$, 从而有$$\mathbf{Y}=\mathbf{MA}\mathbf{Z}+(\mathbf{M}\mathbf{\mu }+\mathbf{\eta })=\mathbf{B}\mathbf{Z}+(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }),$$其中我们记 $\mathbf{B}=\mathbf{MA}$. 由于 $\mathbf{M}$ 与 $\mathbf{A}$ 均为可逆矩阵, 因此 $\mathbf{B}$ 也可逆. 此外, $$\mathbf{B}{\mathbf{B}}^{\mathsf{T}}=\mathbf{MA}{\mathbf{A}}^{\mathsf{T}}{\mathbf{M}}^{\mathsf{T}}=\mathbf{M}\mathbf{\Sigma }{\mathbf{M}}^{\mathsf{T}}.$$接下来即可利用推论 4.1.10 得到$$\begin{array}{rl}& f_{\mathbf{Y}}(\mathbf{y})=f_{\mathbf{Z}}\left({\mathbf{B}}^{-1}(\mathbf{y}-(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }))\right)\cdot \frac{1}{|\det \mathbf{B}|}\\ =& \frac{1}{\sqrt{(2\pi {)}^2}}\exp \left(-\frac{(\mathbf{y}-(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }){)}^{\mathsf{T}}{\left({\mathbf{B}}^{\mathsf{T}}\right)}^{-1}{\mathbf{B}}^{-1}(\mathbf{y}-(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }))}{2}\right)\cdot \frac{1}{\sqrt{\det \left(\mathbf{B}{\mathbf{B}}^{\mathsf{T}}\right)}}\\ =& \frac{1}{\sqrt{(2\pi {)}^2\det \left(\mathbf{M}\mathbf{\Sigma }\mathbf{M}\right)}}\exp \left(-\frac{(\mathbf{y}-(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }){)}^{\mathsf{T}}{\left(\mathbf{M}\mathbf{\Sigma }{\mathbf{M}}^{\mathsf{T}}\right)}^{-1}(\mathbf{y}-(\mathbf{M}\mathbf{\mu }+\mathbf{\eta }))}{2}\right),\end{array}$$故 $\mathbf{Y}\sim \mathcal{N}\left(\mathbf{M}\mathbf{\mu }+\mathbf{\eta },\mathbf{M}\mathbf{\Sigma }{\mathbf{M}}^{\mathsf{T}}\right)$．

$\square$

由定理 4.5.5 与 4.5.6, 还可得到如下推论:

推论 4.5.7. 设 $\mathbf{X}=(X_1,X_2)\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, $\mathbf{\alpha }=({\alpha }_1,{\alpha }_2)\in {\mathbb{R}}^2$ 为非零向量, $\beta \in \mathbb{R}$ 为一实数. 令$$Y={\mathbf{\alpha }}^{\mathsf{T}}\mathbf{X}+\beta =\sum _j{\alpha }_j{X}_j+\beta ,$$则 $Y\sim \mathcal{N}({\mathbf{\alpha }}^{\mathsf{T}}\mathbf{\mu }+\beta ,{\mathbf{\alpha }}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{\alpha })$.

证明. 由于 $\mathbf{\alpha }$ 非零, 故可以找到一个非零向量 ${\mathbf{\alpha }}^{\prime }=({\alpha }_1^{\prime },{\alpha }_2^{\prime })$ 使得 $\mathbf{\alpha }$ 与 ${\mathbf{\alpha }}^{\prime }$ 线性无关. 令$$\mathbf{M}=\left[\begin{array}{cc}{\alpha }_1& {\alpha }_2\\ {\alpha }_1^{\prime }& {\alpha }_2^{\prime }\end{array}\right],\mathbf{\eta }=\left[\begin{array}{c}\beta \\ 0\end{array}\right],$$并令 $\mathbf{Z}=\mathbf{M}\mathbf{X}+\mathbf{\eta }$, 则 $Y$ 就是随机向量 $\mathbf{Z}$ 的第一个分量. 由定理 4.5.6 可知 $\mathbf{Z}$ 服从二维正态分布, 再由定理 4.5.5 可得 $Y$ 服从一维正态分布, 该正态分布的参数可通过计算 $Y$ 的期望与方差直接得到, 具体的计算过程交给读者完成.

$\square$