正态分布

在概率论中, 正态分布 (或 Gauß 分布) 是一种概率分布, 它在数学、统计学、自然科学、社会科学中具有广泛应用, 常常被视为已知期望和方差时 “最自然” 的分布. 正态分布记为 $\mathcal{N}(\mu ,{\sigma }^2)$, 其中 $\mu ,\sigma$ 分别为期望、标准差, 从而 ${\sigma }^2$ 为方差.

下图绘制了正态分布的概率密度函数. 图中选了 $\mu =0$ 作为正态分布的均值, 并且将标准差 $\sigma$ 也标注了出来. 一般的正态分布由该图像沿水平方向平移、拉伸得到.

对满足正态分布的随机变量而言, 其取值与期望的偏差在 $\sigma$, $2\sigma$, $3\sigma$ 以内的概率分别约为 $0.6827$, $0.9545$, $0.9973$. 这也大致体现于上图中. 可以看出, 偏差在 $3\sigma$ 以外的概率很小. 这在统计学中也被称为 “$3\sigma$ 法则”.

正态分布的自然性可见于中心极限定理. 该定理说明, 对一列实值独立同分布随机变量 $X_1,X_2,\dots$, 其和 $X_1+\cdots +X_n$ 近似满足正态分布 $\mathcal{N}(n\mu ,n{\sigma }^2)$, 其中 $\mu ,\sigma$ 分别是各 $X_i$ 的期望、标准差. 在自然科学中, 如果将测量的误差视为多个微小误差的叠加, 则类似于上述结论, 测量结果总是近似满足正态分布. 这阐述了正态分布为何在自然科学中普遍出现.

对随机向量而言, 也有多元正态分布的概念. 多元正态分布由其均值 $\mathbf{\mu }$ 和协方差矩阵 $\mathbf{B}$ 所确定, 随机向量的取值在均值附近呈椭球形, 该椭球的形状由矩阵 $\mathbf{B}$ 确定. 例如, 下图描绘了一个 $2$ 元正态分布, 即平面 ${\mathbb{R}}^2$ 上的正态分布, 图中颜色深浅代表了相应概率密度函数的取值大小.

1定义

定义 1.1 (正态分布). 给定实数 $\mu \in \mathbb{R},\sigma >0$. 则以 $\mu$ 为均值 (或期望), $\sigma$ 为标准差的正态分布是 $\mathbb{R}$ 上的概率分布, 记为 $\mathcal{N}(\mu ,{\sigma }^2)$, 由概率密度函数$${\phi }_{\mu ,\sigma }(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$给出. 正态分布 $\mathcal{N}(0,1)$ 称为标准正态分布.

定义 1.2 (多元正态分布). 设 $n$ 为自然数. 给定向量 $\mathbf{\mu }\in {\mathbb{R}}^n$ 和 $n\times n$ 正定矩阵 $\mathbf{B}$, 则以 $\mathbf{\mu }$ 为均值, $\mathbf{B}$ 为协方差矩阵的 $\mathbf{n}$ 元正态分布是 ${\mathbb{R}}^n$ 上的概率分布, 记为 $\mathcal{N}(\mathbf{\mu },\mathbf{B})$, 由概率密度函数$${\phi }_{\mathbf{\mu },\mathbf{B}}(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}\det (\mathbf{B}{)}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\top }{\mathbf{B}}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$$给出, 其中自变量 $\mathbf{x}\in {\mathbb{R}}^n$. 正态分布 $\mathcal{N}(0,{\mathbf{I}}_n)$ 称为 $\mathbf{n}$ 元标准正态分布, 其中 ${\mathbf{I}}_n$ 为单位矩阵.

注意到, 若实值随机变量 $X_1,\dots ,X_n$ 独立同分布, 且满足标准正态分布 $\mathcal{N}(0,1)$, 则随机向量 $(X_1,\dots ,X_n)$ 满足 $n$ 元标准正态分布.

2性质

基本性质

•

若实值随机变量 $X$ 满足正态分布 $\mathcal{N}(\mu ,{\sigma }^2)$, 则 ∘ $X$ 的期望是 $\mathbb{E}(X)=\mu$. ∘ $X$ 的方差是 $\mathrm{Var}(X)={\sigma }^2$. ∘ $X$ 的 $r$ 阶原点绝对矩是$$\mathbb{E}(|X{|}^r)=\sqrt{\frac{2^r}{\pi }}\Gamma \left(\frac{r+1}{2}\right).$$ ∘ $X$ 的累积分布函数是$$F(x)=\frac{1}{2}(1+\mathrm{erf}\frac{x-\mu }{\sqrt{2}\sigma }),$$其中 $\mathrm{erf}$ 是误差函数. ∘ $X$ 的特征函数是$${\varphi }_X(t)=\exp (\mathrm{i}\mu t-\frac{1}{2}{\sigma }^2{t}^2).$$ ∘ 对实数 $a\ne 0$ 和 $b$, 实值随机变量 $aX+b$ 满足正态分布 $\mathcal{N}(a\mu +b,a^2{\sigma }^2)$.

•

若随机向量 $\mathbf{X}$ 满足 $n$ 元正态分布 $\mathcal{N}(\mathbf{\mu },\mathbf{B})$, 则 ∘ $\mathbf{X}$ 的期望是 $\mathbb{E}(\mathbf{X})=\mathbf{\mu }$. ∘ $\mathbf{X}$ 的协方差矩阵是 $\mathrm{Cov}(X)=\mathbf{B}$. ∘ $\mathbf{X}$ 的特征函数是$${\varphi }_{\mathbf{X}}(\mathbf{t})=\exp (\mathrm{i}{\mathbf{\mu }}^{\top }\mathbf{t}-\frac{1}{2}{\mathbf{t}}^{\top }\mathbf{B}\mathbf{t}).$$ ∘ 对秩 $m$ 的 $m\times n$ 矩阵 $\mathbf{C}$ 和 $m$ 维向量 $\mathbf{v}$, 随机向量 $\mathbf{C}\mathbf{X}+\mathbf{v}$ 满足 $m$ 元正态分布 $\mathcal{N}(\mathbf{C}\mathbf{\mu }+\mathbf{v},\mathbf{C}\mathbf{B}{\mathbf{C}}^{\top })$.

•	若 $X_1,X_2$ 为独立的随机变量, 且 $X_1\sim \mathcal{N}({\mu }_1,{\sigma }_1^2)$, $X_2\sim \mathcal{N}({\mu }_2,{\sigma }_2^2)$, 则 $X_1+X_2\sim \mathcal{N}({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$.

•	若 $X_1,\dots ,X_n$ 独立, 且都满足标准正态分布 $\mathcal{N}(0,1)$, 则 $X_1^2+\cdots +X_n^2$ 满足自由度为 $n$ 的 ${\chi }^2$ 分布.

中心极限定理

中心极限定理说明, 大量独立同分布随机变量的均值近似满足正态分布.

定理 2.1 (中心极限定理). 设 $X_1,X_2,\cdots$ 独立同分布, 满足 $\mathbb{E}(X_1)=\mu ,\mathrm{Var}(X_1)={\sigma }^2<\infty$. 记均值 ${\bar{X}}_n=\frac{1}{n}(X_1+\cdots +X_n)$, 则有依分布收敛$$\sqrt{n}({\bar{X}}_n-\mu )\stackrel{\mathrm{d}}{⟶}\mathcal{N}(0,{\sigma }^2)$$

3相关概念

术语翻译

正态分布 • 英文 normal distribution • 德文 Normalverteilung (f) • 法文 loi normale (f) • 日文 正規分布 (せいきぶんぷ) • 韩文 정규 분포 (正規分布)