10.5. 回归显著性检验

对回归系数 ${\beta }_1$ 进行假设检验的方法已在第 10.3 节第 1 小节中进行了介绍. 在实际问题中, 最常用的针对 ${\beta }_1$ 的假设检验问题具有如下形式: $$H_0:{\beta }_1=0,H_1:{\beta }_1\ne 0.$$(10.5.1)这是因为若我们无法拒绝原假设 $H_0$, 则很有可能意味着如下几种情况:

•	$x$ 对 $Y$ 的取值在平均意义上并没有影响. 此时通常需要考虑寻找其它对 $Y$ 的取值具有显著影响的变量.
•	$x$ 对 $Y$ 取值的影响并不能简单地由 $\mathbb{E}\left[Y|x\right]={\beta }_0+{\beta }_{1}x$ 所表述. 此时通常需要考虑用其它统计模型对 $x$ 与 $Y$ 的关系进行建模.
•	样本容量 $n$ 太小. 此时需要收集更多的数据以得到更确切的结论.

总之, 若无法拒绝原假设 $H_0$, 则说明得到的线性回归模型并不理想, 尚不能直接应用而需要进一步更正. 我们将 (10.5.1) 给出的假设检验问题称为回归显著性检验 (test for significance of regression).

对于一元线性回归, 其回归显著性检验可以有三种等价的方法, 我们依次对其进行介绍.

$\mathbf{t}$ 检验法. 显著性回归的 $t$ 检验法就是 第 10.3 节第 1 小节中给出的检验法: 取$$T=\frac{{\hat{\beta }}_1}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}=\sqrt{\frac{(n-2)S_{xx}}{{SS}_{\text{Res}}}}\cdot {\hat{\beta }}_1,$$(10.5.2)则在原假设 $H_0:{\beta }_1=0$ 下, $T$ 服从分布 $t(n-2)$, 相应的 $p$ 值与拒绝域分别由$$\hat{p}=2\left(1-F_{n-2}^t\left(\frac{\left|{\hat{\beta }}_1\right|}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}\right)\right)\text{与}\frac{\left|{\hat{\beta }}_1\right|}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}>t_{\alpha /2}$$给出, 其中 $\alpha$ 为事先取定的显著性水平.

$\mathbf{F}$ 检验法. 在习题 9.6.2 中已经让读者证明, 服从分布 $t(k)$ 的随机变量在平方后服从分布 $F(1,k)$, 因此我们也可以取检验统计量为$$F=T^2=\frac{{{\hat{\beta }}_1}^2}{\widehat{{\sigma }^2}/S_{xx}},$$(10.5.3)则在原假设 $H_0$ 下有 $F\sim F(1,n-2)$, 由此可得相应的 $p$ 值与拒绝域的形式. 另一方面, 检验统计量 $F$ 实际上还可表示为$$F=\frac{{SS}_{\mathrm{R}}}{{SS}_{\text{Res}}/(n-2)},$$(10.5.4)其中$${SS}_{\mathrm{R}}=\sum _{i=1}^n({\hat{Y}}_i-\overline{Y}{)}^2=\sum _{i=1}^n({\hat{\beta }}_0+{\hat{\beta }}_1{x}_i-\overline{Y}{)}^2$$被称为回归平方和 (regression sum of squares). 式 (10.5.4) 成立是因为$$\begin{array}{rl}{{\hat{\beta }}_1}^2=& {\hat{\beta }}_1\cdot \frac{1}{S_{xx}}\sum _{i=1}^n(x_i-\overline{x})(Y_i-\overline{Y})\\ =& \frac{{\hat{\beta }}_1}{S_{xx}}\sum _{i=1}^n(x_i-\overline{x})(Y_i-{\hat{Y}}_i)+\frac{1}{S_{xx}}\sum _{i=1}^n({\hat{\beta }}_1{x}_i-{\hat{\beta }}_1\overline{x})({\hat{Y}}_i-\overline{Y})\\ =& \frac{{\hat{\beta }}_1}{S_{xx}}\sum _{i=1}^n(x_i-\overline{x})(Y_i-{\hat{Y}}_i)+{SS}_{\mathrm{R}},\end{array}$$而由 normal equations (10.2.2) 可推得$$\begin{array}{rl}0=& \sum _{i=1}^n{x}_i(Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=\sum _{i=1}^n{x}_i(Y_i-{\hat{Y}}_i),\end{array}$$以及$$\begin{array}{rl}0=& \sum _{i=1}^n(Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=\sum _{i=1}^n(Y_i-{\hat{Y}}_i),\end{array}$$故$$\sum _{i=1}^n(x_i-\overline{x})(Y_i-{\hat{Y}}_i)=\sum _{i=1}^n{x}_i(Y_i-{\hat{Y}}_i)-\overline{x}\sum _{i=1}^n(Y_i-{\hat{Y}}_i)=0,$$从而$${{\hat{\beta }}_1}^2=\frac{{SS}_{\mathrm{R}}}{S_{xx}},$$再将其带入式 (10.5.3) 中并利用 $\widehat{{\sigma }^2}={SS}_{\text{Res}}/(n-2)$ 即可得到表达式 (10.5.4). 由此可知, $p$ 值与拒绝域还可表示为$$\hat{p}=1-F_{1,n-2}^F\left(\frac{{SS}_{\mathrm{R}}}{{SS}_{\text{Res}}/(n-2)}\right)\text{与}\frac{{SS}_{\mathrm{R}}}{{SS}_{\text{Res}}/(n-2)}>F_{\alpha }(1,n-2),$$其中 $F_{1,n-2}^F$ 表示分布 $F(1,n-2)$ 的分布函数, $\alpha$ 为事先给定的显著性水平.

上述 $F$ 检验法又被称为方差分析法 (analysis-of-variance approach).

相关系数检验法. 我们还可以利用如下样本相关系数$$R=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(Y_i-\overline{Y})}{\sqrt{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2}}$$(10.5.5)对 (10.5.1) 进行检验: 由上述 $R$ 的定义式可得$$\begin{array}{rl}R=& \frac{S_{xY}}{\sqrt{S_{xx}}\sqrt{{SS}_{\mathrm{T}}}}=\frac{S_{xY}/S_{xx}}{\sqrt{{SS}_{\mathrm{T}}/S_{xx}}}\\ =& \frac{{\hat{\beta }}_1}{\sqrt{({SS}_{\mathrm{Res}}+{\hat{\beta }}_1{S}_{xY})/S_{xx}}}=\frac{{\hat{\beta }}_1}{\sqrt{{SS}_{\mathrm{Res}}/S_{xx}+{\hat{\beta }}_1^2}}\\ =& \frac{\sqrt{S_{xx}/{SS}_{\text{Res}}}\cdot {\hat{\beta }}_1}{\sqrt{1+S_{xx}{\hat{\beta }}_1^2/{SS}_{\text{Res}}}}=\frac{T}{\sqrt{n-2+T^2}},\end{array}$$其中 $T$ 即为 (10.5.2) 给出的检验统计量. 上式指出, $R$ 与 $T$ 之间存在连续且严格单调递增的对应关系. 反解上式可得$$T=\frac{\sqrt{n-2}R}{\sqrt{1-R^2}},$$由此还可得到$$F=T^2=\frac{(n-2)R^2}{1-R^2}\text{以及}{R}^2=\frac{F}{n-2+F}.$$故 $p$ 值为$$\hat{p}=2\left(1-F_{n-2}^t\left(\frac{\sqrt{n-2}|r|}{\sqrt{1-r^2}}\right)\right)=1-F_{1,n-2}^F\left(\frac{(n-2)r^2}{1-r^2}\right),$$其中 $r$ 为统计量 $R$ 在代入样本观测值后的取值, 而拒绝域则可表示为$$|r|>\frac{t_{\alpha /2}(n-2)}{\sqrt{n-2+[t_{\alpha /2}(n-2){]}^2}}\text{或}{r}^2>\frac{F_{\alpha }(1,n-2)}{n-2+F_{\alpha }(1,n-2)},$$其中 $\alpha$ 为显著性水平.