10.7. 习题选编

习题 10.7.1. 证明最小二乘估计中残差的如下性质:

1.	$\sum _{i=1}^n{e}_i=0$.
2.	$\sum _{i=1}^n{x}_i{e}_i=0$.
3.	$\sum _{i=1}^n{\hat{Y}}_i{e}_i=0$.

习题 10.7.2. 证明如下方差分析恒等式 (analysis-of-variance identity): $$\begin{array}{rl}{SS}_{\mathrm{T}}=& {SS}_{\text{Res}}+{\hat{\beta }}_1{S}_{xY}\\ =& {SS}_{\text{Res}}+{SS}_{\mathrm{R}},\end{array}$$其中$${SS}_{\mathrm{T}}=\sum _{i=1}^n(Y_i-\overline{Y}{)}^2,{SS}_{\text{Res}}=\sum _{i=1}^n{\left(Y_i-{\hat{Y}}_i\right)}^2,{SS}_{\mathrm{R}}=\sum _{i=1}^n{\left({\hat{Y}}_i-\overline{Y}\right)}^2$$分别为校正平方和 (corrected sum of squares)、残差平方和 (residual sum of squares) 与回归平方和 (regression sum of squares).

习题 10.7.3. 对于一元线性回归, 证明样本相关系数 $R$ 满足$$R^2=\frac{{SS}_{\mathrm{R}}}{{SS}_{\mathrm{T}}}=\frac{{\sum }_{i=1}^n({\hat{Y}}_i-\overline{Y}{)}^2}{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2},$$其中 ${\hat{Y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$, 而 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 为回归系数的最小二乘估计量.

习题 10.7.4. 设因变量 $x$ 与自变量 $Y$ 之间满足关系式$$Y={\beta }_0+{\beta }_{1}x+\epsilon ,$$其中随机误差 $\epsilon$ 的期望为 $0$ 而方差为 ${\sigma }^2$, 系数 ${\beta }_0$ 已知, 而系数 ${\beta }_1$ 与方差 ${\sigma }^2$ 未知. 令 $(x_1,Y_1),\dots ,(x_n,Y_n)$ 为一组样本.

1.	考虑用最小二乘法对 ${\beta }_1$ 进行点估计: $${\hat{\beta }}_1=\underset{{\beta }_1\in \mathbb{R}}{\mathrm{argmin}}\frac{1}{2}\sum _{i=1}^n(Y_i-{\beta }_0-{\beta }_1{x}_i{)}^2.$$试求 ${\hat{\beta }}_1$ 的表达式.
2.	试求 ${\sigma }^2$ 的一个无偏估计量.
3.	任取 $x_0\in \mathbb{R}$, 试求 ${\hat{Y}}_0={\beta }_0+{\hat{\beta }}_1{x}_0$ 的方差.

习题 10.7.5. 设某个自变量 $x$ 与因变量 $Y$ 之间服从线性回归模型, 我们可以设计实验并选择在哪些 $x_1,\dots ,x_n$ 处观测相应的 $Y_1,\dots ,Y_n$ 的值. 若要求 $-1\le x_i\le 1$, 则应当怎样选取 $x_1,\dots ,x_n$ 使得 ${\beta }_1$ 的最小二乘估计的均方误差最小?

注: 本题取自 [30] 习题 2.29.

习题 10.7.6. 在一线性回归问题中, 数据由下表给出:

$i$	$x_i$	$y_i$		$i$	$x_i$	$y_i$
1	$0.3$	$0.4$		6	$1.0$	$0.8$
2	$1.4$	$0.9$		7	$2.0$	$0.7$
3	$1.0$	$0.4$		8	$-1.0$	$-0.4$
4	$-0.3$	$-0.3$		9	$-0.7$	$-0.2$
5	$-0.2$	$0.3$		10	$0.7$	$0.7$

1.	求出 $F=\frac{{SS}_{\mathrm{R}}}{{SS}_{\text{Res}}/(n-2)}$, 再对回归显著性进行检验, 取显著性水平为 $5\%$.
2.	试求出 $x=0.5$ 时 $\mathbb{E}\left[Y|x\right]={\beta }_0+{\beta }_{1}x$ 的置信水平为 $95\%$ 的置信区间.
3.	试对 $x=1.2$ 时的因变量进行区间预测, 取置信水平为 $95\%$.

注: 本题数据取自 [20] 第 11.3 节习题 1.