10.3. 回归系数的区间估计与假设检验

在本节中, 我们均假设自变量 $x$ 与因变量 $Y$ 之间的确服从 (10.1.1) 给出的线性回归模型. 此外, 还假设随机误差 $\epsilon$ 服从正态分布 $\mathcal{N}(0,{\sigma }^2)$, 此时即有$$Y_i\sim \mathcal{N}({\beta }_0+{\beta }_1{x}_i,{\sigma }^2).$$首先引入如下引理:

引理 10.3.1. 设线性回归模型 (10.1.1) 中的随机误差 $\epsilon$ 服从正态分布 $\mathcal{N}(0,{\sigma }^2)$, 并令 $\widehat{{\sigma }^2}$ 为式 (10.2.7) 给出的 ${\sigma }^2$ 的点估计量. 则

1.	$\widehat{{\sigma }^2}$ 与 ${\hat{\beta }}_1$ 相互独立, 且 $\widehat{{\sigma }^2}$ 也与 ${\hat{\beta }}_0$ 相互独立.
2.	$\frac{(n-2)\widehat{{\sigma }^2}}{{\sigma }^2}\sim {\chi }^2(n-2)$.

引理 10.3.1 的证明将放在本节最后一小节作为选读内容. 但引理中 ${\chi }^2$ 分布的自由度 $n-2$ 可由前面 $\mathbb{E}\left[{SS}_{\text{Res}}\right]$ 的计算结果猜出一二.

${\beta }_1$ 的区间估计以及假设检验

首先考虑 ${\beta }_1$ 的置信区间与假设检验. 注意到$${\hat{\beta }}_1=\frac{1}{S_{xx}}\sum _{i=1}^n(x_i-\overline{x})Y_i$$可表示为相互独立的正态分布随机变量 $Y_1,\dots ,Y_n$ 的线性组合, 故 ${\hat{\beta }}_1$ 也服从正态分布, 其期望为 ${\beta }_1$, 而方差即为 ${\sigma }^2/S_{xx}$, 也就是说$${\hat{\beta }}_1\sim \mathcal{N}\left({\beta }_1,\frac{{\sigma }^2}{S_{xx}}\right),$$而引理 10.3.1 则保证了 $(n-2)\widehat{{\sigma }^2}/{\sigma }^2$ 服从 ${\chi }^2(n-2)$ 且与 ${\hat{\beta }}_1$ 独立. 因而$$\frac{({\hat{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/S_{xx}}}{\sqrt{\widehat{{\sigma }^2}/{\sigma }^2}}=\frac{{\hat{\beta }}_1-{\beta }_1}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}$$必定服从自由度为 $n-2$ 的 $t$ 分布, 且与 ${\beta }_0,{\beta }_1$ 以及 ${\sigma }^2$ 的取值无关. 接下来我们依次处理 $\beta$ 的置信区间与假设检验问题:

1.

设置信水平取为 $1-\alpha$. 由于 $({\hat{\beta }}_1-{\beta }_1)/\sqrt{\widehat{{\sigma }^2}/S_{xx}}\sim t(n-2)$ 对 ${\beta }_0,{\beta }_1$ 与 ${\sigma }^2$ 的所有可能取值均成立, 故可将其作为枢轴量, 得$$\mathbb{P}\left(\left|\frac{{\hat{\beta }}_1-{\beta }_1}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}\right|\le t_{\alpha /2}(n-2)\right)=1-\alpha ,$$对上式中括号内的不等式进行等价变形, 可得$$\mathbb{P}\left(\left[{\hat{\beta }}_1-t_{\alpha /2}(n-2)\sqrt{\frac{\widehat{{\sigma }^2}}{S_{xx}}},{\hat{\beta }}_1+t_{\alpha /2}(n-2)\sqrt{\frac{\widehat{{\sigma }^2}}{S_{xx}}}\right]\ni {\beta }_1\right)=1-\alpha .$$从而 ${\beta }_1$ 的一个置信水平为 $1-\alpha$ 的置信区间为$$\left[{\hat{\beta }}_1-t_{\alpha /2}(n-2)\sqrt{\frac{\widehat{{\sigma }^2}}{S_{xx}}},{\hat{\beta }}_1+t_{\alpha /2}(n-2)\sqrt{\frac{\widehat{{\sigma }^2}}{S_{xx}}}\right].$$

2.

考虑假设检验问题$$H_0:{\beta }_1={\beta }_{1,0},H_1:{\beta }_1\ne {\beta }_{1,0},$$其中 ${\beta }_{1,0}$ 为事先取定的常数. 则可以取检验统计量为$$T=\frac{{\hat{\beta }}_1-{\beta }_{1,0}}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}},$$它在原假设 $H_0$ 下服从分布 $t(n-2)$. 故 $p$ 值为 1$$\hat{p}=2\left(1-F_{n-2}^t\left(\frac{|{\hat{\beta }}_1-{\beta }_{1,0}|}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}\right)\right),$$其中 $F_{n-2}^t$ 表示分布 $t(n-2)$ 的分布函数. 而给定显著性水平 $\alpha$ 后, 相应的拒绝域可由$$\frac{|{\hat{\beta }}_1-{\beta }_{1,0}|}{\sqrt{\widehat{{\sigma }^2}/S_{xx}}}>t_{\alpha /2}(n-2)$$给出.

${\beta }_0$ 的区间估计以及假设检验

接下来考虑 ${\beta }_0$ 的区间估计与假设检验. 与 ${\hat{\beta }}_1$ 的情形类似, 可得$${\hat{\beta }}_0\sim \mathcal{N}\left({\beta }_0,{\sigma }^2\left(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}}\right)\right),$$而引理 10.3.1 保证了 $(n-2)\widehat{{\sigma }^2}/{\sigma }^2$ 服从 ${\chi }^2(n-2)$ 且与 ${\hat{\beta }}_0$ 独立, 故$$\frac{({\hat{\beta }}_0-{\beta }_0)/\sqrt{{\sigma }^2\left(1/n+{\overline{x}}^2/S_{xx}\right)}}{\sqrt{\widehat{{\sigma }^2}/{\sigma }^2}}=\frac{{\hat{\beta }}_0-{\beta }_0}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}})}}$$必定服从自由度为 $n-2$ 的 $t$ 分布, 且与 ${\beta }_0,{\beta }_1$ 以及 ${\sigma }^2$ 的取值无关. 仿照 ${\beta }_1$ 的置信区间与假设检验过程的推导步骤, 可得到如下结论:

1.

${\beta }_0$ 的一个置信水平为 $1-\alpha$ 的置信区间为$$\left[{\hat{\beta }}_0-t_{\alpha /2}(n-2)\sqrt{\widehat{{\sigma }^2}\left(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}}\right)},{\hat{\beta }}_0+t_{\alpha /2}(n-2)\sqrt{\widehat{{\sigma }^2}\left(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}}\right)}\right].$$

2.

考虑假设检验问题$$H_0:{\beta }_0={\beta }_{0,0},H_1:{\beta }_0\ne {\beta }_{0,0},$$其中 ${\beta }_{0,0}$ 为事先取定的常数. 则可以取检验统计量为$$T=\frac{{\hat{\beta }}_0-{\beta }_{0,0}}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}})}},$$$p$ 值为$$\hat{p}=2\left(1-F_{n-2}^t\left(\frac{|{\hat{\beta }}_0-{\beta }_{0,0}|}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}})}}\right)\right),$$而给定显著性水平 $\alpha$ 后, 相应的拒绝域可由$$\frac{|{\hat{\beta }}_0-{\beta }_{0,0}|}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}})}}>t_{\alpha /2}(n-2)$$给出.

回归函数值的区间估计

现令 $x_0$ 为任意实数, 我们考虑对回归函数在 $x_0$ 处的值 $\mu (x_0)={\beta }_0+{\beta }_1{x}_0$ 进行区间估计. 为构造枢轴量, 我们首先注意到 $\hat{\mu }(x_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$ 是关于 $Y_1,\dots ,Y_n$ 的线性函数, 而 $Y_1,\dots ,Y_n$ 相互独立且服从正态分布, 故 $\hat{\mu }(x_0)$ 也服从正态分布, 其期望为$$\mathbb{E}\left[\hat{\mu }(x_0)\right]=\mu (x_0)={\beta }_0+{\beta }_1{x}_0,$$而方差则为$$\begin{array}{rl}\mathrm{Var}(\hat{\mu }(x_0))=& \mathrm{Var}({\hat{\beta }}_0+{\hat{\beta }}_1{x}_0)\\ =& \mathrm{Var}({\hat{\beta }}_0)+x_0^2\mathrm{Var}({\hat{\beta }}_1)+2x_0\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)\\ =& {\sigma }^2\left(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}}\right)+x_0^2\cdot \frac{{\sigma }^2}{S_{xx}}-2\frac{x_0\overline{x}}{S_{xx}}{\sigma }^2\\ =& {\sigma }^2\left(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}}\right).\end{array}$$根据上述结果, 我们考虑构造如下枢轴量: $$\frac{\hat{\mu }(x_0)-\mu (x_0)}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}})}}.$$不难基于引理 10.3.1 验证该枢轴量服从分布 $t(n-2)$, 故$$\mathbb{P}\left(-t_{\alpha /2}(n-2)\le \frac{\hat{\mu }(x_0)-\mu (x_0)}{\sqrt{\widehat{{\sigma }^2}(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}})}}\le t_{\alpha /2}(n-2)\right)=1-\alpha ,$$经过等价变形可得$$\mathbb{P}\left({\hat{\mu }}^l(x_0)\le \mu (x_0)\le {\hat{\mu }}^u(x_0)\right)=1-\alpha ,$$其中$$\begin{array}{rl}{\hat{\mu }}^l(x_0)=& \hat{\mu }(x_0)-t_{\alpha /2}(n-2)\sqrt{\widehat{{\sigma }^2}\left(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}}\right)},\\ {\hat{\mu }}^u(x_0)=& \hat{\mu }(x_0)+t_{\alpha /2}(n-2)\sqrt{\widehat{{\sigma }^2}\left(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}}\right)}.\end{array}$$故 $\mu (x_0)={\beta }_0+{\beta }_1{x}_0$ 的一个置信水平为 $1-\alpha$ 的置信区间为 $\left[{\hat{\mu }}^l(x_0),{\hat{\mu }}^u(x_0)\right]$. 不难发现, $|x_0-\overline{x}|$ 越大, 则置信区间的宽度 ${\hat{\mu }}^u(x_0)-{\hat{\mu }}^l(x_0)$ 也就越大, 这意味着, 在保持置信水平为 $1-\alpha$ 的情况下, $x_0$ 越远离 $\overline{x}$, 则区间估计的精度越低.

需要注意的是, $\left[{\hat{\mu }}^l(x_0),{\hat{\mu }}^u(x_0)\right]$ 给出的只是单个点 $x_0$ 处回归函数值 $\mu (x_0)$ 的置信区间, 我们并不能把它理解为 “回归函数 $\mu (x)$ 的图像落在 ${\hat{\mu }}^l(x_0)$ 与 ${\hat{\mu }}^u(x_0)$ 之间的概率为 $1-\alpha$”.

(${}^{\star }$) 引理 10.3.1 的证明

为符号上的方便, 令$$\mathbf{\beta }=\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right],\hat{\mathbf{\beta }}=\left[\begin{array}{c}{\hat{\beta }}_0\\ {\hat{\beta }}_1\end{array}\right],\mathbf{X}=\left[\begin{array}{cc}1& x_1\\ ⋮& ⋮\\ 1& x_n\end{array}\right],\mathbf{Y}=\left[\begin{array}{c}{Y}_1\\ ⋮\\ Y_n\end{array}\right],\mathbf{\epsilon }=\left[\begin{array}{c}{\epsilon }_1\\ ⋮\\ {\epsilon }_n\end{array}\right],\mathbf{e}=\left[\begin{array}{c}{e}_1\\ ⋮\\ e_n\end{array}\right].$$且用 ${\mathbf{I}}_k$ 表示 $k\times k$ 单位阵. 则不难验证$$\begin{array}{rl}\mathbf{Y}=& \mathbf{X}\mathbf{\beta }+\mathbf{\epsilon },\\ \mathbf{e}=& \mathbf{Y}-\mathbf{X}\hat{\mathbf{\beta }}=\mathbf{X}(\mathbf{\beta }-\hat{\mathbf{\beta }})+\mathbf{\epsilon },\end{array}$$且 normal equations 可表示为如下形式: $${\mathbf{X}}^{\mathsf{T}}\mathbf{X}\hat{\mathbf{\beta }}=\left[\begin{array}{cc}n& {\sum }_{i=1}^n{x}_i\\ {\sum }_{i=1}^n{x}_i& {\sum }_{i=1}^n{x}_i^2\end{array}\right]\left[\begin{array}{c}{\hat{\beta }}_0\\ {\hat{\beta }}_1\end{array}\right]=\left[\begin{array}{ccc}1& \cdots & 1\\ x_1& \cdots & x_n\end{array}\right]\left[\begin{array}{c}{Y}_1\\ ⋮\\ Y_n\end{array}\right]={\mathbf{X}}^{\mathsf{T}}\mathbf{Y},$$故$$\begin{array}{r}\hat{\mathbf{\beta }}={\left({\mathbf{X}}^{\mathsf{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}={\left({\mathbf{X}}^{\mathsf{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathsf{T}}(\mathbf{X}\mathbf{\beta }+\mathbf{\epsilon })=\mathbf{\beta }+{\left({\mathbf{X}}^{\mathsf{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathsf{T}}\mathbf{\epsilon }.\end{array}$$考虑对矩阵 $\mathbf{X}$ 做奇异值分解, 则由于 $\mathbf{X}$ 列满秩, 可得$$\mathbf{X}=\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]\left[\begin{array}{c}{\mathbf{\Sigma }}_{\mathrm{c}}\\ 0_{(n-2)\times 2}\end{array}\right]{\mathbf{V}}^{\mathsf{T}}={\mathbf{U}}_{\mathrm{c}}{\mathbf{\Sigma }}_{\mathrm{c}}{\mathbf{V}}^{\mathsf{T}},$$其中 ${\mathbf{\Sigma }}_{\mathrm{c}}$ 为 $2\times 2$ 的对角阵且对角元均大于 $0$, $\mathbf{V}\in {\mathbb{R}}^{2\times 2}$ 为正交阵, 而 ${\mathbf{U}}_{\mathrm{c}}\in {\mathbb{R}}^{n\times 2},{\mathbf{U}}_{\perp }\in {\mathbb{R}}^{n\times (n-2)}$ 使得 $\mathbf{U}=\left[{\mathbf{U}}_{\mathrm{c}}{\mathbf{U}}_{\perp }\right]\in {\mathbb{R}}^{n\times n}$ 为正交阵, 即$${\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]}^{\mathsf{T}}\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]=\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}{\mathbf{U}}_{\perp }\\ {\mathbf{U}}_{\perp }^{\mathsf{T}}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }^{\mathsf{T}}{\mathbf{U}}_{\perp }\end{array}\right]=\left[\begin{array}{cc}{\mathbf{I}}_2& 0_{2\times (n-2)}\\ 0_{(n-2)\times 2}& {\mathbf{I}}_{n-2}\end{array}\right]$$以及$$\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]{\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]}^{\mathsf{T}}={\mathbf{U}}_{\mathrm{c}}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}+{\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}={\mathbf{I}}_n.$$故$$\begin{array}{rl}\hat{\mathbf{\beta }}-\mathbf{\beta }=& {\left({\mathbf{X}}^{\mathsf{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathsf{T}}\mathbf{\epsilon }={\left(\mathbf{V}{\mathbf{\Sigma }}_{\mathrm{c}}^2{\mathbf{V}}^{\mathsf{T}}\right)}^{-1}{\mathbf{V}}^{\mathsf{T}}\mathbf{\Sigma }{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\mathbf{\epsilon }={\mathbf{V}}^{\mathsf{T}}{\mathbf{\Sigma }}_{\mathrm{c}}^{-1}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\mathbf{\epsilon }.\end{array}$$由此可得$$\begin{array}{r}\mathbf{e}=\mathbf{X}(\mathbf{\beta }-\hat{\mathbf{\beta }})+\mathbf{\epsilon }=-{\mathbf{U}}_{\mathrm{c}}{\mathbf{\Sigma }}_{\mathrm{c}}{\mathbf{V}}^{\mathsf{T}}\mathbf{V}{\mathbf{\Sigma }}_{\mathrm{c}}^{-1}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\mathbf{\epsilon }+\mathbf{\epsilon }=\left({\mathbf{I}}_n-{\mathbf{U}}_{\mathrm{c}}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\right)\mathbf{\epsilon }={\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }.\end{array}$$由于 $\left[{\mathbf{U}}_{\mathrm{c}}{\mathbf{U}}_{\perp }\right]$ 为正交阵, 而 $\mathbf{\epsilon }$ 服从多元正态分布 $\mathcal{N}(0,{\sigma }^2{\mathbf{I}}_n)$, 故随机向量$$\tilde{\mathbf{\epsilon }}={\left[\begin{array}{cc}{\mathbf{U}}_{\mathrm{c}}& {\mathbf{U}}_{\perp }\end{array}\right]}^{\mathsf{T}}\mathbf{\epsilon }=\left[\begin{array}{c}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\mathbf{\epsilon }\\ {\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }\end{array}\right]$$同样服从多元正态分布 $\mathcal{N}(0,{\sigma }^2{\mathbf{I}}_n)$, 而该多元正态分布的协方差矩阵为对角阵, 这意味着 $\tilde{\mathbf{\epsilon }}$ 的各个分量相互独立. 再注意到 $\hat{\mathbf{\beta }}=\mathbf{\beta }+{\mathbf{V}}^{\mathsf{T}}{\mathbf{\Sigma }}_{\mathrm{c}}^{-1}{\mathbf{U}}_{\mathrm{c}}^{\mathsf{T}}\mathbf{\epsilon }$ 是 $\tilde{\mathbf{\epsilon }}$ 的前两个分量的函数, 而$${SS}_{\text{res}}=\sum _{i=1}^n{e}_i^2={\mathbf{e}}^{\mathsf{T}}\mathbf{e}={\mathbf{\epsilon }}^{\mathsf{T}}{\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}{\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }={\mathbf{\epsilon }}^{\mathsf{T}}{\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }$$是 $\tilde{\mathbf{\epsilon }}$ 的后 $n-2$ 个分量的函数, 可得 $\hat{\mathbf{\beta }}$ 与 ${SS}_{\text{Res}}$ 相互独立.

为了求 ${SS}_{\text{Res}}$ 的分布, 注意到$$\begin{array}{rl}\frac{{SS}_{\text{Res}}}{{\sigma }^2}=& \frac{1}{{\sigma }^2}{\mathbf{\epsilon }}^{\mathsf{T}}{\mathbf{U}}_{\perp }{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }=\sum _{i=1}^{n-2}{\left({\sigma }^{-1}{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }\right)}_i^2,\end{array}$$而由于 ${\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }$ 的分量即为 $\tilde{\mathbf{\epsilon }}$ 的后 $n-2$ 个分量, 故 ${\sigma }^{-1}{\mathbf{U}}_{\perp }^{\mathsf{T}}\mathbf{\epsilon }$ 的各个分量相互独立且服从标准正态分布 $\mathcal{N}(0,1)$. 由此可得 ${SS}_{\text{Res}}/{\sigma }^2\sim {\chi }^2(n-2)$.

脚注

1.	^ 为了符号上的简便, 后文中我们经常将一个统计量 (关于 $(x_1,Y_1),\dots ,(x_n,Y_n)$ 的函数) 与该统计量在某组样本观测值 $(x_1,y_1),\dots ,(x_n,y_n)$ 上的取值用同一个符号表示, 读者需根据上下文确定指代的是前者还是后者.