6.2. 重要抽样分布

统计量的概率分布被称为抽样分布. 本节中我们将研究一些与正态总体相关的抽样分布, 这些抽样分布将对本讲义介绍的统计推断方法的理论分析起到重要作用.

${\chi }^2$ 分布 (卡方分布)

我们称随机变量 $X$ 服从自由度为 $\mathbf{n}$ 的 ${\mathbf{\chi }}^2$ 分布 (${\chi }^2$ distribution 或 chi-squared distribution), 若 $X$ 为连续型随机变量, 且其概率密度函数为$$f_X(x)=\{\begin{array}{ll}\frac{1}{2^{n/2}\Gamma (n/2)}{x}^{n/2-1}{\mathrm{e}}^{-x/2},& \text{若}x>0,\\ 0,& \text{若}x\le 0,\end{array}$$其中 $n$ 为一正整数. 我们用 ${\chi }^2(n)$ 或 ${\chi }_n^2$ 来指代自由度为 $n$ 的 ${\chi }^2$ 分布, 并用 $X\sim {\chi }^2(n)$ 或 $X\sim {\chi }_n^2$ 表示 $X$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布. 图 1 给出了 ${\chi }^2$ 分布概率密度函数的典型图像.

图 1. 自由度为 $n$ 的 ${\chi }^2$ 分布概率密度函数图像.

我们马上将看到, ${\chi }^2$ 分布与来自正态总体的样本方差的分布直接相关. 接下来先给出 ${\chi }^2$ 分布自身的一些性质.

命题 6.2.1. 设 $X$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布, 则其矩母函数为$$M_X(t)={\left(\frac{1}{1-2t}\right)}^{n/2},t\in \left]-\infty ,\frac{1}{2}\right[.$$其期望为 $\mathbb{E}[X]=n$, 方差为 $\mathrm{Var}(X)=2n$.

证明. 我们有$$\begin{array}{rl}{M}_X(t)=\mathbb{E}\left[{\mathrm{e}}^{tX}\right]=& \frac{1}{2^{n/2}\Gamma (n/2)}{\int }_0^{+\infty }{\mathrm{e}}^{tx}\cdot x^{n/2-1}{\mathrm{e}}^{-x/2}\mathrm{d}x\\ =& \frac{1}{2^{n/2}\Gamma (n/2)}{\int }_0^{+\infty }{x}^{n/2-1}{\mathrm{e}}^{-(1/2-t)x}\mathrm{d}x.\end{array}$$不难看出 $t\ge 1/2$ 时 $\mathbb{E}[{\mathrm{e}}^{tX}]$ 不存在. 而当 $t<1/2$ 时, 有$$\begin{array}{rl}{M}_X(t)=& {\left(\frac{1}{1/2-t}\right)}^{n/2}\frac{1}{2^{n/2}\Gamma (n/2)}{\int }_0^{+\infty }{u}^{n/2-1}{\mathrm{e}}^{-u}\mathrm{d}u\\ =& {\left(\frac{1}{1-2t}\right)}^{n/2},\end{array}$$其中做了换元 $u=(1/2-t)x$ 并利用了 $\Gamma$ 函数的定义.

$\mathbb{E}[X]$ 与 $\mathrm{Var}(X)$ 可通过$$\mathbb{E}[X]={\frac{\mathrm{d}}{\mathrm{d}t}{M}_X(t)|}_{t=0}={n{\left(\frac{1}{1-2t}\right)}^{n/2+1}|}_{t=0}=n$$以及$$\begin{array}{rl}\mathrm{Var}(X)=& \mathbb{E}[X^2]-{\left(\mathbb{E}[X]\right)}^2={\frac{{\mathrm{d}}^2}{\mathrm{d}{t}^2}{M}_X(t)|}_{t=0}-n^2\\ =& {n(n+2){\left(\frac{1}{1-2t}\right)}^{n/2+2}|}_{t=0}-n^2=2n\end{array}$$得到.

$\square$

推论 6.2.2.

1.	设 $X_1,\dots ,X_k$ 相互独立且各自服从自由度为 $n_1,\dots ,n_k$ 的 ${\chi }^2$ 分布, 则 $Y={\sum }_{i=1}^k{X}_i$ 服从自由度为 ${\sum }_{i=1}^k{n}_i$ 的 ${\chi }^2$ 分布.
2.	设 $X_1,\dots ,X_n$ 相互独立且均服从一元标准正态分布 $\mathcal{N}(0,1)$, 则 $Y={\sum }_{i=1}^n{X}_i^2$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布.

证明.

1.	我们考虑 $Y$ 的矩母函数, 由定理 4.3.6 可得$$M_Y(t)=\prod _{i=1}^k{M}_{X_i}(t)=\prod _{i=1}^k{\left(\frac{1}{1-2t}\right)}^{n_i/2}={\left(\frac{1}{1-2t}\right)}^{\frac{1}{2}{\sum }_{i=1}^k{n}_i},\forall t\in \left]-\infty ,\frac{1}{2}\right[.$$故 $Y$ 服从自由度为 ${\sum }_{i=1}^k{n}_i$ 的 ${\chi }^2$ 分布.
2.	由例 4.1.2 的结论可知, 每个 $X_i^2$ 均服从自由度为 $1$ 的 ${\chi }^2$ 分布, 再由第一部分的结论可得 $Y={\sum }_{i=1}^n{X}_i^2$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布. $\square$

在经过上述准备后, 我们介绍定理 6.2.3, 它给出了 ${\chi }^2$ 分布最重要的应用场合: 刻画来自正态总体的样本方差的分布; 该定理也与下一节介绍的 $t$ 分布的重要性质密切相关. 定理的证明由于牵扯到一些连续型随机向量仿射变换 (推论 4.1.10) 以及实对阵矩阵正交对角化的知识, 故作为选读内容放在第 6.3 节第 1 小节给出, 但我们鼓励学有余力的读者掌握这个证明.

定理 6.2.3. 设 $X_1,\dots ,X_n$ 为正态总体 $\mathcal{N}(\mu ,{\sigma }^2)$ 的一组样本. 令 $\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 为其样本均值, $$S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\overline{X}\right)}^2$$为其样本方差. 则

1.	$\overline{X}$ 与 $S^2$ 相互独立.
2.	随机变量$$\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\overline{X}{)}^2$$服从自由度为 $n-1$ 的 ${\chi }^2$ 分布.

$t$ 分布

我们称随机变量 $X$ 服从自由度为 $\mathbf{n}$ 的 $\mathbf{t}$ 分布 ($t$ distribution 或 Student’s $t$ distribution ¹), 若 $X$ 为连续型随机变量, 且其概率密度函数为$$f_X(x)=\frac{\Gamma \left(\frac{n+1}{2}\right)}{\sqrt{\pi n}\Gamma \left(\frac{n}{2}\right)}{\left(1+\frac{x^2}{n}\right)}^{-\frac{n+1}{2}},x\in \mathbb{R},$$其中 $n$ 为一正整数. 我们用 $t(n)$ 或 $t_n$ 来指代自由度为 $n$ 的 $t$ 分布, 并用 $X\sim t(n)$ 或 $X\sim t_n$ 表示 $X$ 服从自由度为 $n$ 的 $t$ 分布. 图 2 给出了 $t$ 分布概率密度函数的典型图像, 其中 $n=\infty$ 的情形实际上考虑的是 $n\to \infty$ 时分布 $t(n)$ 的概率密度函数的极限; 可以证明固定 $x\in \mathbb{R}$ 时, 有 ²$$\underset{n\to \infty }{\lim }\frac{\Gamma \left(\frac{n+1}{2}\right)}{\sqrt{\pi n}\Gamma \left(\frac{n}{2}\right)}{\left(1+\frac{x^2}{n}\right)}^{-\frac{n+1}{2}}=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{x^2}{2}\right),$$这说明分布 $t(n)$ 的概率密度函数在 $n\to \infty$ 时将逐点收敛于标准正态分布的概率密度函数.

图 2. 自由度为 $n$ 的 $t$ 分布概率密度函数图像.

以下定理给出了 $t$ 分布的由来, 其证明作为选读内容将在第 6.3 节第 2 小节给出.

定理 6.2.4. 设 $X\sim \mathcal{N}(0,1),Y\sim {\chi }^2(n)$ 且 $X,Y$ 相互独立. 不妨设 $Y$ 的值域不包含 $0$. 则随机变量$$\frac{X}{\sqrt{Y/n}}$$服从自由度为 $n$ 的 $t$ 分布.

将定理 6.2.4 与定理 6.2.3 结合, 可得到如下重要推论.

推论 6.2.5. 设 $X_1,\dots ,X_n$ 为正态总体 $\mathcal{N}(\mu ,{\sigma }^2)$ 的一组样本. 令$$T=\frac{\overline{X}-\mu }{\sqrt{S^2/n}},$$其中 $\overline{X}$ 为样本均值, $S^2$ 为样本方差. 则统计量 $T$ 服从自由度为 $n-1$ 的 $t$ 分布.

证明. 令 $U=\sqrt{n}\left(\overline{X}-\mu \right)/\sigma$, $V=(n-1)S^2/{\sigma }^2$. 由例 4.3.9 的结论可得 $U\sim \mathcal{N}(0,1)$. 接下来利用定理 6.2.3, 可得 $V\sim {\chi }_{n-1}^2$ 且 $U,V$ 相互独立. 而$$\frac{U}{\sqrt{V/(n-1)}}=\frac{\sqrt{n}\left(\overline{X}-\mu \right)/\sigma }{\sqrt{S^2/{\sigma }^2}}=\frac{\overline{X}-\mu }{\sqrt{S^2/n}}=T,$$故由定理 6.2.4 可最终得到 $T\sim t(n-1)$.

$\square$

需要注意, 推论 6.2.5 当中我们必须要求 $X_1,\dots ,X_n$ 相互独立且均服从正态分布 $\mathcal{N}(\mu ,{\sigma }^2)$; 若样本 $X_1,\dots ,X_n$ 不是从正态总体中抽样得来的, 即使 $n$ 非常大, 我们也不能因为中心极限定理而认为推论 6.2.5 成立.

$F$ 分布

我们称随机变量 $X$ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布 ³, 若其概率密度函数为$$f_X(x)=\{\begin{array}{ll}\frac{\Gamma \left(\frac{n_1+n_2}{2}\right)}{\Gamma \left(\frac{n_1}{2}\right)\Gamma \left(\frac{n_2}{2}\right)}{\left(\frac{n_1}{n_2}\right)}^{\frac{n_1}{2}}{x}^{\frac{n_1}{2}-1}{\left(1+\frac{n_1}{n_2}x\right)}^{-\frac{n_1+n_2}{2}},& x>0,\\ 0,& x\le 0,\end{array}$$其中 $n_1,n_2$ 均为正整数. 我们用 $F(n_1,n_2)$ 来指代自由度为 $(n_1,n_2)$ 的 $F$ 分布, 并用 $X\sim F(n_1,n_2)$ 表示 $X$ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布. 图 3 给出了 $F$ 分布概率密度函数的典型图像.

图 3. $F$ 分布概率密度函数图像.

以下定理给出了 $F$ 分布的由来, 其证明作为选读内容将在第 6.3 节第 3 小节给出.

定理 6.2.6. 设 $U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$, 且 $U,V$ 相互独立. 则随机变量$$F=\frac{U/n_1}{V/n_2}$$服从自由度为 $(n_1,n_2)$ 的 $F$ 分布.

由定理 6.2.6 可看出, 若 $F\sim F(n_1,n_2)$, 则 $F^{-1}\sim F(n_2,n_1)$. 此外, 我们还可得到如下推论:

推论 6.2.7. 设 $X_1,\dots ,X_{n_1}$ 为总体 $\mathcal{N}({\mu }_1,{\sigma }_1^2)$ 的一组样本, $Y_1,\dots ,Y_{n_2}$ 为总体 $\mathcal{N}({\mu }_2,{\sigma }_2^2)$ 的一组样本, 且 $X_1,\dots ,X_{n_1},Y_1,\dots ,Y_{n_2}$ 相互独立. 令$$\begin{array}{rl}{S}_1^2=& \frac{1}{n_1-1}\sum _{i=1}^{n_1}{\left(X_i-\frac{1}{n_1}\sum _{j=1}^{n_1}{X}_j\right)}^2,\\ S_2^2=& \frac{1}{n_2-1}\sum _{i=1}^{n_2}{\left(Y_i-\frac{1}{n_2}\sum _{j=1}^{n_2}{Y}_j\right)}^2.\end{array}$$则$$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1).$$

我们将推论 6.2.7 的证明留作习题.

抽样分布的上分位数

上面三个小节给出了 ${\chi }^2$ 分布、$t$ 分布与 $F$ 分布的概率密度函数. 但对于许多数理统计问题, 更常用的其实是这些抽样分布的上分位数.

定义 6.2.8. 设 $F(x)$ 为一连续型分布的分布函数, 其概率密度函数为 $f(x)$. 进一步假设 $f(x)$ 在某个开区间 $I\subseteq \mathbb{R}$ 上严格大于 $0$ 而在该开区间外等于 $0$. 则对任意 $0<\alpha <1$, 我们将满足$$1-F(r)={\int }_r^{+\infty }f(x)\mathrm{d}x=\alpha$$的实数 $r$ 称作分布 $F(x)$ 的上 $\mathbf{\alpha }$ 分位数 ($1-\alpha$ quantile). 换句话说, 若随机变量 $X$ 的分布函数为 $F(x)$, 则 $X$ 大于等于上 $\alpha$ 分位数的概率就等于 $\alpha$.

注 6.2.9. 对于更加一般的分布也可定义其上分位数, 但在本课程中, 我们只需考虑定义 6.2.8 所讨论的情形就足够了.

不难验证, 若某个分布满足定义 6.2.8 中所列出的条件, 则它的上 $\alpha$ 分位数是关于 $\alpha$ 的连续且严格单调递减的函数.

下面我们讨论几个重要分布的上分位数.

标准正态分布. 对于标准正态分布 $\mathcal{N}(0,1)$, 我们将其上 $\alpha$ 分位数记作 $z_{\alpha }$, 也就是说 $z_{\alpha }$ 由如下等式给出: $${\int }_{z_{\alpha }}^{+\infty }\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{x^2}{2}\right)\mathrm{d}x=1-\Phi (z_{\alpha })=\alpha .$$若用 ${\Phi }^{-1}$ 表示 $\Phi$ 的反函数, 则有$$z_{\alpha }={\Phi }^{-1}(1-\alpha ).$$图 4(a) 给出了 $z_{\alpha }$ 的图示. 不难看出 $\alpha \to 0^{+}$ 时 $z_{\alpha }\to +\infty$, 以及 $\alpha \to 1^{-}$ 时 $z_{\alpha }\to -\infty$. 此外, 由 $\Phi (-x)=1-\Phi (x)$ 可得$$z_{1-\alpha }=-z_{\alpha },\forall \alpha \in \left]0,1\right[.$$

${\mathbf{\chi }}^2$ 分布. 对于自由度为 $n$ 的 ${\chi }^2$ 分布, 我们将其上 $\alpha$ 分位数记作 ${\chi }_{\alpha }^2(n)$. 图 4(b) 给出了 ${\chi }_{\alpha }^2(n)$ 的图示. 不难看出 $\alpha \to 0^{+}$ 时 ${\chi }_{\alpha }^2(n)\to +\infty$, 以及 $\alpha \to 1^{-}$ 时 ${\chi }_{\alpha }^2(n)\to 0$. 此外, 我们通常会将 $\sqrt{{\chi }_{\alpha }^2(n)}$ 记作 ${\chi }_{\alpha }(n)$.

$\mathbf{t}$ 分布. 对于自由度为 $n$ 的 $t$ 分布, 我们将其上 $\alpha$ 分位数记作 $t_{\alpha }(n)$. 图 4(c) 给出了 $t_{\alpha }(n)$ 的图示. 不难看出 $\alpha \to 0^{+}$ 时 $t_{\alpha }(n)\to +\infty$, 以及 $\alpha \to 1^{-}$ 时 $t_{\alpha }(n)\to -\infty$. 此外, 由分布 $t(n)$ 的概率密度函数的对称性, 可得$$t_{1-\alpha }(n)=-t_{\alpha }(n),\forall \alpha \in \left]0,1\right[.$$经验上, 当 $n\ge 45$ 时, 对于常用的 $\alpha$ 的值, 我们会采用近似 $t_{\alpha }(n)\approx z_{\alpha }$, 这是因为 $n$ 足够大时, $t(n)$ 的概率密度函数 (以及分布函数) 可以被标准正态分布的概率密度函数 (以及分布函数) 很好地近似.

$\mathbf{F}$ 分布. 对于自由度为 $(n_1,n_2)$ 的 $F$ 分布 $F_{(}{n}_1,n_2)$, 我们将其上 $\alpha$ 分位数记作 $F_{\alpha }(n_1,n_2)$. 图 4(d) 给出了 $F_{\alpha }(n_1,n_2)$ 的图示. 不难看出 $\alpha \to 0^{+}$ 时 $F_{\alpha }(n_1,n_2)\to +\infty$, 以及 $\alpha \to 1^{-}$ 时 $F_{\alpha }(n_1,n_2)\to 0$. 此外, $F$ 分布的上分位数满足如下性质: $$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)},$$(6.2.1)这是因为 $X\sim F(n_1,n_2)$ 时有$$\begin{array}{rl}1-\alpha =& \mathbb{P}(X>F_{1-\alpha }(n_1,n_2))\\ =& \mathbb{P}\left(\frac{1}{X}<\frac{1}{F_{1-\alpha }(n_1,n_2)}\right)=1-\mathbb{P}\left(\frac{1}{X}>\frac{1}{F_{1-\alpha }(n_1,n_2)}\right),\end{array}$$从而$$\alpha =\mathbb{P}\left(\frac{1}{X}>\frac{1}{F_{1-\alpha }(n_1,n_2)}\right),$$而由 $F$ 分布的性质可知 $1/X\sim F(n_2,n_1)$, 故上式即意味着 $F_{\alpha }(n_2,n_1)=1/F_{1-\alpha }(n_1,n_2)$.

图 4. 四种抽样分布的上分位数图示.

需要指出的是, 以上讨论的几个分布的上 $\alpha$ 分位数通常都不能表示为 $\alpha$ 的初等函数. 我们一般是通过查表或是数值计算的方法来获取这些上 $\alpha$ 分位数的值. 表 1 列出了一些常用编程语言中用于计算上分位数的表达式.

	Python 3	R	MATLAB
$z_{\alpha }$	norm.isf($\alpha$)	qnorm(1-$\alpha$)	norminv(1-$\alpha$)
${\chi }_{\alpha }^2(n)$	chi2.isf($\alpha$, $n$)	qchisq(1-$\alpha$, df=$n$)	chi2inv(1-$\alpha$, $n$)
$t_{\alpha }(n)$	t.isf($\alpha$, $n$)	qt(1-$\alpha$, df=$n$)	tinv(1-$\alpha$, $n$)
$F_{\alpha }(n_1,n_2)$	f.isf($\alpha$, $n_1$, $n_2$)	qf(1-$\alpha$, df1=$n_1$, df2=$n_2$)	finv(1-$\alpha$, $n_1$, $n_2$)

注: Python 3 中需安装库 SciPy 并加入导入语句 from scipy.stats import *

表 1. 部分编程语言中计算上分位数的表达式.

脚注

1.	^ 这里的 Student 来自于统计学家 William Sealy Gosset 使用的一个假名, 他在 1908 年发表于 Biometrika 的论文 “The probable error of a mean” 中用 Student 来署名. 之后著名统计学家 Ronald Fisher 在其工作中将这个分布称作 “Student’s distribution”, 并用 $t$ 作为相应统计量的符号, “Student’s $t$ distribution” 这个名称也就逐渐被广泛接受.
2.	^ 该极限可由斯特林公式$$\underset{x\to +\infty }{\lim }\frac{\Gamma (x)}{\sqrt{2\pi }{x}^{x-1/2}{\mathrm{e}}^{-x}}=1$$出发证明.
3.	^ $F$ 分布又被称作 Snedecor’s $F$ distribution、the Fisher–Snedecor distribution 等. 统计学家 Ronald Fisher 于 1922 年首次给出了 $F$ 分布的形式, 而统计学家 George W. Snedecor 将其用 $F$ 分布命名, 以纪念 Ronald Fisher.