9.5. 一些非参数检验问题

本节中, 我们将介绍一些非参数检验问题. 所谓的非参数检验, 是指假设检验问题中不再假定总体的分布函数一定可以表示为 $F(x;\theta )$ 的形式; 换句话说, 不再认为总体的未知信息全都包含在某个未知的参数 $\theta$ 当中. 对于非参数检验, 原则上其原假设与备择假设的形式会更为灵活, 但本节考虑的问题中备择假设 $H_1$ 多是表达原假设 $H_0$ 的某种 “否定”, 下面给出几个例子:

•	$H_0:\text{总体的分布函数为 F0(x)}$, $H_1:\text{总体的分布函数不是 F0(x)}$, 其中 $F_0$ 为一给定的分布函数.
•	$H_0:\text{总体服从某个泊松分布}$, $H_1:\text{总体取值为非负整数, 其分布不是泊松分布}$.
•	$H_0:\text{总体 (X,Y) 当中 X 与 Y 相互独立}$, $H_1:\text{总体 (X,Y) 当中 X 与 Y 不独立}$.

通常, 若备择假设 $H_1$ 可以通过对原假设 $H_0$ 按某种方式取 “否定” 自然地看出来, 那我们就不显式地指明备择假设 $H_1$, 而仅指明原假设 $H_0$.

拟合优度检验

拟合优度检验 (test of goodness-of-fit) 是针对总体是否具有某一个指定的分布或属于某一个分布族而进行的假设检验. 最简单的拟合优度检验问题具有如下形式: 给定一个确定的分布函数 $F_0(x)$, 我们想要基于获得的样本, 检验总体的分布函数是否就是 $F_0(x)$, 即$$H_0:\text{总体的分布函数为 F0(x)},H_1:\text{总体的分布函数不是 F0(x)}.$$我们简要介绍两种拟合优度检验的方法: Pearson 卡方检验法与 Kolmogorov–Smirnov 检验法.

Pearson 卡方检验法. 设 $X_1,\dots ,X_n$ 为来自未知总体的样本, 其中样本容量 $n$ 足够大. $\mathcal{R}$ 为实数集的一个子集, 它使得分布函数为 $F_0(x)$ 的随机变量取值落于 $\mathcal{R}$ 内的概率为 $1$. 在 Pearson 卡方检验法中, 我们首先将 $\mathcal{R}$ 划分成 $m$ 个互不相交的子集 $B_1,B_2,\dots ,B_m$. 例如

•	若 $\mathcal{R}=\mathbb{R}$, 则通常会将各个 $B_k$ 取为如下形式的区间: $$\mathbb{R}=\left]-\infty ,a_1\right]\cup \left]a_1,a_2\right]\cup \left]a_2,a_3\right]\cup \cdots \cup \left]a_{m-2},a_{m-1}\right]\cup \left]a_{m-1},+\infty \right[.$$(9.5.1)
•	当 $\mathcal{R}=\{r_1,r_2,\dots \}$ 为一可数集时, $F_0(x)$ 可以当作一个离散型分布, 记其分布列为 $p_0(x)$, 则一种 $\mathcal{R}$ 的划分方法是将 $r_1,r_2,\dots$ 先按照 $p_0(r_j)$ 的值进行降序排序, 而后取$$B_1=\{r_1\},B_2=\{r_2\},\dots ,B_{m-1}=\{r_{m-1}\},B_m=\{r_m,r_{m+1},\dots \}.$$(9.5.2)

我们将分布 $F_0(x)$ 下随机变量属于集合 $B_k$ 的概率记为 $p_k$. 例如, 若 $\mathcal{R}=\mathbb{R}$ 并采用式 (9.5.1) 的划分方式, 则$$\begin{array}{rl}{p}_1& =F_0(a_1),p_m=1-F_0(a_{m-1}),\\ p_k& =F_0(a_k)-F_0(a_{k-1}),k=2,\dots ,m-1,\end{array}$$而若 $\mathcal{R}=\{r_1,r_2,\dots \}$ 并采用式 (9.5.2) 的划分方式, 则$$p_k=p_0(r_k),k=1,2,\dots ,m-1,p_m=\sum _{j\ge m}{p}_0(r_j),$$其中 $p_0(x)$ 表示 $F_0(x)$ 相应的分布列. 直观上看, 若原假设 $H_0$ 成立, 则当样本容量 $n$ 足够大时, 样本 $X_1,\dots ,X_n$ 当中落在集合 $B_k$ 内的数目应当约等于 $n{p}_k$, 也就是说$$\sum _{i=1}^n{1}_{\{X_i\in B_k\}}\approx n{p}_k,\text{若原假设H0成立}.$$而若样本容量 $n$ 非常大时, 上述近似相等的关系依然对于某个 $k$ 不成立, 则意味着原假设不能很好地解释我们所获取的样本数据, 或者说, 分布函数 $F_0(x)$ 作为一个统计模型不能很好地对样本数据进行拟合. 基于上述考虑, Karl Pearson 设计了如下检验统计量用于拟合优度检验: $$Q=\sum _{k=1}^m\frac{(N_k-n{p}_k{)}^2}{n{p}_k},\text{其中}{N}_k=\sum _{i=1}^n{1}_{\{X_i\in B_k\}}.$$(9.5.3)直观上看, 若 $Q$ 取值明显偏大, 则意味着样本相对于原假设 $H_0$ 产生了显著的偏离. 注意到式 (9.5.3) 当中, 对每个衡量偏离程度的 $(N_k-n{p}_k{)}^2$ 还乘以了因子 $1/(n{p}_k)$; 大致来说, 这个因子起到了对各个偏离程度 $(N_k-n{p}_k{)}^2$ 进行平衡的作用, 并使得检验统计量 $Q$ 在原假设 $H_0$ 下的渐近分布 (也就是样本容量 $n$ 趋于无穷大时分布的极限) 能够被推导出来.

定理 9.5.1. 令 ${\mathrm{X}}^2$ 为式 (9.5.3) 定义的检验统计量, 并设原假设 $H_0$ 成立 (即 $F_0(x)$ 为总体的分布函数). 则当 $n\to \infty$ 时, ${\mathrm{X}}^2$ 的分布函数将逐点收敛于 ${\chi }^2(m-1)$ 的分布函数.

定理 9.5.1 的证明不做要求, 感兴趣的读者可参阅 [15] 定理 7.131, 但我们指出它的背后实际上是中心极限定理. 定理中 ${\chi }^2$ 分布的自由度为 $m-1$ 则与 ${\sum }_{k=1}^m{N}_k=n$ 这一等式关系有关.

在搞清楚大样本情形下 ${\mathrm{X}}^2$ 在原假设成立时的分布以后, 我们即可得到 $p$ 值与拒绝域. 设 $x_1,\dots ,x_n$ 为获取的样本值, 对每个 $k=1,\dots ,m$, 用 $n_k$ 表示 $x_1,\dots ,x_n$ 当中落在集合 $B_k$ 中的点的个数, 则 $p$ 值为$$\hat{p}=1-F_{m-1}^{{\chi }^2}(q),\text{其中}q=\sum _{i=1}^n\frac{(n_k-n{p}_k{)}^2}{n{p}_k},$$而拒绝域则由$$q>{\chi }_{\alpha }^2(m-1)$$给出, 其中 $\alpha$ 为事先给定的显著性水平.

在 Pearson 卡方检验当中, 总体值域 $\mathcal{R}$ 的划分方式 (包括子集的数目 $m$ 以及每个子集 $B_k$ 的具体取法) 会对检验的最终结果产生影响. 经验指出, 通常应当使得划分之后算出的各个 $p_k$ 值至少满足 $n{p}_k\ge 5$. 此外, 由于定理 9.5.1 给出的仅仅是检验统计量的渐近分布, 故 Pearson 卡方检验只适用于大样本情形, 经验上, 通常认为样本容量小于 $50$ 的情形不适合用 Pearson 卡方检验法.

例 9.5.2. 设有一枚均匀性未知的立方体骰子, 六个面上依次标有点数 $1,2,\dots ,6$. 将该骰子投掷 600 次后, 六个点数各自出现的次数依次为 $96$, $87$, $117$, $92$, $102$, $106$. 我们采用 Pearson 卡方检验法来对骰子的均匀性进行检验. 令总体 $X$ 为骰子投掷出的点数, 则骰子的均匀性意味着 $X$ 服从 $\{1,2,\dots ,6\}$ 上的离散型均匀分布, 也即$${\mathbb{P}}_{H_0}(X=k)=\frac{1}{6},k=1,2,\dots ,6.$$我们自然取 $\mathcal{R}=\{1,\dots ,6\}$ 并将其划分为 $\mathcal{R}=\{1\}\cup \{2\}\cup \cdots \cup \{6\}$. 按照该划分方式, Pearson 卡方检验的检验统计量的值为$$\begin{array}{rl}q=& \frac{(96-100{)}^2}{100}+\frac{(87-100{)}^2}{100}+\frac{(117-100{)}^2}{100}\\ & +\frac{(92-100{)}^2}{100}+\frac{(102-100{)}^2}{100}+\frac{(106-100{)}^2}{100}\\ =& 5.78,\end{array}$$而检验统计量在原假设下近似服从自由度为 $6-1=5$ 的 ${\chi }^2$ 分布, 故 $p$ 值为$$\hat{p}=1-F_5^{{\chi }^2}(5.78)=\mathrm{0.328.}$$这个 $p$ 值是比较大的, 因而从我们获得的投掷结果来看, 还没有充分理由认为骰子是非均匀的.

(${}^{\star }$) Kolmogorov–Smirnov 检验法. 在 Kolmogorov–Smirnov 检验法中, 我们首先基于经验分布函数来构造如下随机变量: $$\begin{array}{rl}{D}_n=& \underset{x\in \mathbb{R}}{\sup }\left|{\hat{F}}_n(x)-F_0(x)\right|\\ =& \underset{x\in \mathbb{R}}{\sup }\left|\frac{1}{n}\sum _{i=1}^n{1}_{\{X_i\le x\}}-F_0(x)\right|,\end{array}$$(9.5.4)习惯上我们会显式地把样本容量 $n$ 放在该随机变量的角标中. 以 $D_n$ 为基础来设计拟合优度检验统计量的合理性部分来自于如下 Glivenko–Cantelli 定理:

定理 9.5.3 (Glivenko–Cantelli). 设 $X_1,X_2,\dots ,X_n,\dots$ 独立同分布, 它们的分布函数均为 $F_0(x)$. 令 $D_n$ 由式 (9.5.4) 定义, 则当 $n\to \infty$ 时, $D_n$ 几乎必然收敛于 $0$.

不难看出, $D_n$ 衡量了经验分布函数 ${\hat{F}}_n(x)$ 与 $F_0(x)$ 之间的最大差值, 而 Glivenko–Cantelli 定理则保证了样本容量趋于无穷大时该差值趋于 $0$. 因此, 直观上看, 若样本容量 $n$ 非常大时, 我们根据样本观测值算出的检验统计量的值 $d_n$ 依然较大, 则说明样本值相对于原假设 $H_0$ 有显著的偏离.

当然, 由于 $D_n$ 在 $n\to \infty$ 时趋于 $0$, 我们需要将其乘以适当的系数, 使其具有非退化的渐近分布, 再将它作为检验统计量, 以方便 $p$ 值与临界值的计算. 这方面的结果由如下定理给出:

定理 9.5.4 (Kolmogorov–Smirnov). 设 $X_1,X_2,\dots ,X_n,\dots$ 独立同分布, 它们的分布函数均为 $F_0(x)$. 令 $D_n$ 由式 (9.5.4) 定义, 则对任意 $t>0$, 有$$\underset{n\to \infty }{\lim }\mathbb{P}\left(\sqrt{n}{D}_n\le t\right)=1-2\sum _{i=1}^{\infty }(-1{)}^{i-1}{\mathrm{e}}^{-2i^2{t}^2}.$$(9.5.5)

定理 9.5.5 指出, 我们可以将 $\sqrt{n}{D}_n$ 作为检验统计量, 而该检验统计量在大样本极限时的分布函数由式 (9.5.5) 给出. 式 (9.5.5) 右端给出的分布又被称为 Kolmogorov 分布. 接下来, 我们即可依据式 (9.5.5) 来计算大样本情形的 $p$ 值与临界值. 设 $x_1,\dots ,x_n$ 为获得的样本观测值, 其中样本容量 $n$ 足够大, $\sqrt{n}{d}_n$ 为检验统计量 $\sqrt{n}{D}_n$ 在该组样本上的取值, 则 $p$ 值为$$\hat{p}=2\sum _{i=1}^{\infty }(-1{)}^{i-1}{\mathrm{e}}^{-2n{d}_n^2{i}^2},$$而给定显著性水平 $\alpha$ 后, 临界值则由 Kolmogorov 分布的上 $\alpha$ 分位数给出.

注 9.5.5. 当分布函数 $F_0(x)$ 对应于一个连续型分布时, 通常会考虑用 Kolmogorov–Smirnov 检验法而非 Pearson 卡方检验法来进行拟合优度检验. 而若分布函数 $F_0(x)$ 对应于一个离散型分布, 则通常会先考虑用 Pearson 卡方检验. 另一方面, Pearson 卡方检验具有较高的灵活性, 可以推广到其它更复杂的拟合优度检验问题中, 包括总体是多维随机向量时的拟合优度检验问题, 以及对总体是否来自于给定的一族参数化分布进行检验的问题 (例如对 “$H_0:\text{总体服从某个泊松分布}$” 进行检验; 见 [20] 第 10.2 节).

列联表与独立性检验

本小节中我们考虑这样一个问题: 设总体为一个二维随机变量 $(X,Y)$, 获取的简单随机样本为 $(X_1,Y_1),\dots ,(X_n,Y_n)$. 应当如何通过样本来检验总体当中 $X$ 与 $Y$ 之间的独立性? 换句话说, 我们希望检验原假设$$H_0:\text{总体 (X,Y) 中 X 与 Y 相互独立}.$$我们将这样的假设检验称为独立性检验 (test of independence).

接下来介绍的独立性检验法可以看作是 Pearson 提出的卡方检验法的一个变种. 设已知总体 $(X,Y)$ 当中 $X$ 与 $Y$ 的取值范围分别由有限集 ${\mathcal{R}}_X$ 与 ${\mathcal{R}}_Y$ 给出 ¹, 其中$$\begin{array}{r}{\mathcal{R}}_X=\{a_1,a_2,\dots ,a_r\},{\mathcal{R}}_Y=\{b_1,b_2,\dots ,b_c\},\end{array}$$而 $r$ 与 $c$ 分别为 ${\mathcal{R}}_X$ 与 ${\mathcal{R}}_Y$ 的元素个数. 随后, 对每个 $j=1,\dots ,r$ 与 $k=1,\dots ,c$, 我们统计样本 $(X_1,Y_1),\dots ,(X_n,Y_n)$ 当中等于 $(a_j,b_k)$ 的数目有多少: $$N_{jk}=\sum _{i=1}^n{1}_{\{X_i=a_j,Y_i=b_k\}},j=1,\dots ,r,k=1,\dots ,c,$$并令$$\begin{array}{rl}{N}_{j+}=& \sum _{k=1}^c{N}_{jk}=\sum _{i=1}^n{1}_{\{X_i=a_j\}},\\ N_{+k}=& \sum _{j=1}^r{N}_{jk}=\sum _{i=1}^n{1}_{\{Y_i=b_k\}}.\end{array}$$显然 $n={\sum }_{j,k}{N}_{jk}={\sum }_{j=1}^r{N}_{j+}={\sum }_{k=1}^c{N}_{+c}$. 若原假设 $H_0$ 成立, 也就是说 $X$ 与 $Y$ 相互独立, 则当样本容量 $n$ 足够大时, 对任意的 $j$ 和 $k$, 均应当有$$\begin{array}{rl}{N}_{jk}\approx & n\cdot {\mathbb{P}}_{H_0}\left(X=a_j,Y=b_k\right)\\ =& n\cdot {\mathbb{P}}_{H_0}(X=a_j)\cdot {\mathbb{P}}_{H_0}(Y=b_k)\approx \frac{1}{n}{N}_{j+}{N}_{+k}.\end{array}$$基于上述考虑, 仿照拟合优度检验中检验统计量的构造, 我们取$$Q=\sum _{j=1}^r\sum _{k=1}^c\frac{{\left(N_{jk}-{\hat{E}}_{jk}\right)}^2}{{\hat{E}}_{jk}},\text{其中}{\hat{E}}_{jk}=\frac{1}{n}{N}_{j+}{N}_{+k}$$(9.5.6)为检验统计量. 原假设成立时, 该检验统计量在大样本极限下的渐近分布由如下定理给出:

定理 9.5.6. 令 $Q$ 为式 (9.5.6) 定义的检验统计量, 并设原假设 $H_0$ 成立 (即 $X$ 与 $Y$ 相互独立). 则当 $n\to \infty$ 时, $Q$ 的分布函数将逐点收敛于 ${\chi }^2((r-1)(c-1))$ 的分布函数.

换句话说, 检验统计量 $Q$ 在大样本情形下近似服从自由度为 $(r-1)(c-1)$ 的 ${\chi }^2$ 分布. 由此即可得到大样本情形下的 $p$ 值与临界值: 设 $(x_1,y_1),\dots ,(x_n,y_n)$ 为样本观测数据, 则 $p$ 值约为$$\hat{p}\approx 1-F_{(r-1)(c-1)}^{{\chi }^2}(q),$$其中 $q$ 为检验统计量 $Q$ 在该组样本上的取值. 若给定了显著性水平 $\alpha$, 则拒绝域可近似表示为$$q>{\chi }_{\alpha }^2((r-1)(c-1)).$$

在将上述检验法用于实际问题时, 我们习惯上会把样本数据 $(x_1,y_1),\dots ,(x_n,y_n)$ 进行处理并表示为如下形式的表格:

	$Y$
$X$	$b_1$	$b_2$	$\cdots$	$b_c$	总计
$a_1$	$n_{11}$	$n_{12}$	$\cdots$	$n_{1c}$	$n_{1+}$
$a_2$	$n_{21}$	$n_{22}$	$\cdots$	$n_{2c}$	$n_{2+}$
$⋮$	$⋮$	$⋮$	$\ddots$	$⋮$	$⋮$
$a_r$	$n_{r1}$	$n_{r2}$	$\cdots$	$n_{rc}$	$n_{r+}$
总计	$n_{+1}$	$n_{+2}$	$\cdots$	$n_{+c}$	$n$

其中 $n_{jk}$ 即为统计量 $N_{jk}$ 在给定样本数据后的具体取值, 也就是 $(x_1,y_1),\dots ,(x_n,y_n)$ 中有多少个点取值为 $(a_j,b_k)$; $n_{j+}$ 与 $n_{+k}$ 同理. 上述形式的表格被称为列联表 (contingency table) .

例 9.5.7 (本例取自 [20] 第 10.4 节习题 3). A 大学每周五下午会面向全校本科学生举办由访问学者主讲的学术讲座. 在 4 次讲座过后, 讲座负责人随机调查了 70 名大一学生、70 名大二学生、60 名大三学生与 50 名大四学生的讲座参与情况, 并汇总为如下表格:

	讲座参与次数
年级	0	1	2	3	4	总人数
大一	10	16	27	6	11	70
大二	14	19	20	4	13	70
大三	15	15	17	4	9	60
大四	19	8	6	5	12	50
总人数	58	58	70	19	45	250

我们希望判断讲座参与次数与年级是否相互独立. 为了计算检验统计量 (9.5.6) 的值, 我们首先计算各个 ${\hat{e}}_{jk}$ 的值, 可得$$\left[{\hat{e}}_{jk}\right]=\left[\begin{array}{ccccc}16.24& 16.24& 19.6& 5.32& 12.6\\ 16.24& 16.24& 19.6& 5.32& 12.6\\ 13.92& 13.92& 16.8& 4.56& 10.8\\ 11.6& 11.6& 14& 3.8& 9\end{array}\right].$$接下来即可算得检验统计量 (9.5.6) 的值为$$q=\sum _{j=1}^4\sum _{k=1}^5\frac{{\left(n_{jk}-{\hat{e}}_{jk}\right)}^2}{{\hat{e}}_{jk}}=18.9386,$$而 $(r-1)(c-1)=(4-1)\times (5-1)=12$, 故 $p$ 值为$$\hat{p}=1-F_{12}^{{\chi }^2}(18.9386)=\mathrm{0.0900.}$$由该 $p$ 值, 可认为讲座参与次数与年级之间呈现出一些不独立的迹象, 但若想要做出更确切的结论则需要进一步收集数据.

脚注

1.	^ 若 $X$ 或 $Y$ 的值域为无限集, 则需要像上一节那样先将 $X$ 与 $Y$ 的值域划分为有限多个组别.