7. 参数估计

统计学的一个重要任务, 就是从一个具有一定规模的数据集中提取其数量特征, 比方说均值, 方差等等. 传统的统计学通常会对数据进行如下方式的描述: 我们采集了 $N$ 个样本 $X_1,X_2,\cdots ,X_N$, 它们可以看作是某一个概率空间 $(\Omega ,\mathcal{F},P)$ 中的 $N$ 个随机变量, 它们独立且具有相同的概率分布函数. 而在 “参数估计” 这一类统计任务里, 我们通常假定 $X_1,X_2,\cdots ,X_N$ 具有给定形式的概率分布或概率密度为 $p(x;\theta )$, 其中 $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$ 是这个分布的参数, 比方说正态分布中的 $(\mu ,\sigma )$, 均匀分布中的 $(a,b)$, Poisson 分布中的 $\lambda$ 等, 而我们要做的事情, 就是通过给定的样本 $X_1,X_2,\cdots ,X_N$, 来估计参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_r$ 的取值.

定义 7.0.1 (参数估计). 设 $(\Omega ,\mathcal{F})$ 是一个可测空间, $X_1,X_2,\cdots ,X_N$ 是 $\Omega \to \mathbb{R}$ 的映射, $\Theta \in {\mathbb{R}}^r$ 是一个区域, 对于每一个 $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)\in \Theta$, 我们都对应有一个 $(\Omega ,\mathcal{F})$ 上的概率测度 $P_{\theta }$ 与之对应, 使得 $X_1,X_2,\cdots ,X_N$ 作为概率空间 $(\Omega ,\mathcal{F},P_{\theta })$ 的随机变量是独立的, 且具有相同的概率分布函数 $F(x;\theta )$. 对于任意一个 $N$ 元 Borel 函数 $f:{\mathbb{R}}^N\to \mathbb{R}$, 我们称 $f(X_1,X_2,\cdots ,X_N)$ 这个随机变量为一个统计量. 所谓参数估计问题, 指的是寻找 $r$ 个统计量 ${\hat{\theta }}_k(X_1,X_2,\cdots ,X_N)$, $k=1,2,\cdots ,r$, 它们分别被用于估计参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_r$ 的数值. 我们称 $\Theta$ 是这个参数估计问题的参数空间, 而 $(\Omega ,\mathcal{F})$ 与每一个概率测度 $P_{\theta }$ 组成的概率空间全体 $\{(\Omega ,\mathcal{F},P_{\theta }){\}}_{\theta \in \Theta }$, 称为这个参数估计问题的概率空间族, 相应的 $F(x;\theta )$ 称为这个参数估计问题的概率分布族.

定义 7.0.2 (矩估计). 设 $X_1,X_2,\cdots ,X_N$ 是概率空间族 $\{(\Omega ,\mathcal{F},P_{\theta }){\}}_{\theta \in \Theta }$ 中某个成员 $(\Omega ,\mathcal{F},P_{\theta })$ 中的独立同分布的 $N$ 个随机变量, 他们的概率分布或概率密度函数为 $p(x;\theta )$, $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$, $r\ll n$, 记$$m_k({\theta }_1,{\theta }_2,\cdots ,{\theta }_r):={\mathbb{E}}_{\theta }[X]=\{\begin{array}{ll}{\sum }_{i}p(x_i;\theta )x_i^k& X_i\text{离散}\\ \int p(x;\theta )x^k\mathrm{d}x& X_i\text{连续},\end{array}k=1,\cdots ,r,$$函数 $f_1,f_2,\cdots ,f_r:{\mathbb{R}}^r\to \mathbb{R}$ 由$$\{\begin{array}{l}{\theta }_1=f_1(m_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),m_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),\cdots ,m_r({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)),\\ {\theta }_2=f_2(m_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),m_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),\cdots ,m_r({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)),\\ \cdots \\ {\theta }_r=f_k(m_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),m_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_r),\cdots ,m_r({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)).\end{array}$$反解得出, 记$$M_k=\frac{1}{N}\sum _{i=1}^N{X}_i^k,k=1,2,\cdots ,r,$$则我们称$${\hat{\theta }}_k=f_k(M_1,M_2,\cdots ,M_r),k=1,2,\cdots ,r,$$分别参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_r$ 的矩估计.

例 7.0.3 (均匀分布的矩估计). 假设 $X_1,X_2,\cdots ,X_n$ 是服从 $\mathcal{U}(a,b)$ 的随机变量, 我们已经计算出了 $\mathcal{U}(a,b)$ 随机变量的一, 二阶矩$$m_1=\frac{a+b}{2},m_2=\frac{a^2+ab+b^2}{3},$$从而可以反解出$$a=m_1-\sqrt{3(m_2-m_1^2)},b=m_1+\sqrt{3(m_2-m_1^2)},$$于是, 我们可以用$$\{\begin{array}{l}\hat{a}=M_1-\sqrt{3(M_2-M_1^2)}=\frac{1}{N}\sum _{i=1}^N{X}_i+\sqrt{3\left(\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2\right)},\\ \hat{b}=M_1+\sqrt{3(M_2-M_1^2)}=\frac{1}{N}\sum _{i=1}^N{X}_i-\sqrt{3\left(\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2\right)}\end{array}$$

定义 7.0.4 (极大似然估计). 设 $X_1,X_2,\cdots ,X_N$ 是概率空间族 $\{(\Omega ,\mathcal{F},P_{\theta }){\}}_{\theta \in \Theta }$ 中某个成员 $(\Omega ,\mathcal{F},P_{\theta })$ 中的独立同分布的 $N$ 个随机变量, 他们的概率分布或概率密度函数为 $p(x;\theta )$, $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$, $r\ll n$. 我们称$$({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r):=\underset{{\theta }_1,{\theta }_2,\cdots ,{\theta }_r}{\mathrm{argmax}}\prod _{i=1}^{N}p(X_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_r),$$(7.1)为对参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_r$ 的极大似然估计. 如果 $\{x:p(x;{\theta }_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r)>0\}$ 是 $\mathbb{R}$ 上的一个与 ${\theta }_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r$ 无关的区域或离散点集, 那么 (7.1) 也等价于$$({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r):=\underset{{\theta }_1,{\theta }_2,\cdots ,{\theta }_r}{\mathrm{argmin}}\sum _{i=1}^N-\ln p(X_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_r),$$(7.2)此时也称 $({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r)$ 为对数极大似然估计.

使用极大似然估计时, 我们绝大多数时候使用的都是对数极大似然估计. 对于我们能够见到的大多数例子而言, $p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$ 对 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_r$ 是连续可微的. 此时 (7.2) 中的 ${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r$ 满足$$\frac{\partial }{\partial {\theta }_k}\sum _{i=1}^N-\ln p(X_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_r){|}_{{\theta }_1={\hat{\theta }}_1,\cdots ,{\theta }_r={\hat{\theta }}_r}=0.k=1,2,\cdots ,r.$$(7.3)显然, 这是 ${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_r$ 成为极大似然估计的必要条件.

例 7.0.5 (正态分布的极大似然估计). 假设我们有独立同分布正态样本 $X_1,X_2,\cdots ,X_N$, 它们服从正态分布 $\mathcal{N}(\mu ,\sigma )$. 求此样本下 $\mu ,\sigma$ 的极大似然估计就是求$$(\hat{\mu },\hat{\sigma })=\underset{\mu ,\sigma }{\mathrm{argmax}}\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(X_i-\mu {)}^2}{2{\sigma }^2}}$$也就是求对数极大似然估计$$(\hat{\mu },\hat{\sigma })=\underset{\mu ,\sigma }{\mathrm{argmin}}\sum _{i=1}^N\left(\ln (2\pi )+\ln \sigma +\frac{(X_i-\mu {)}^2}{2{\sigma }^2}\right).$$利用 (7.3), 我们可以得到$$\{\begin{array}{l}\frac{1}{{\hat{\sigma }}^2}\sum _{i=1}^N\widehat{(}\mu -X_i)=0,\\ \sum _{i=1}^N\frac{1}{\hat{\sigma }}-\frac{(X_i-\hat{\mu }{)}^2}{{\hat{\sigma }}^3}=0\end{array}$$(7.4)解得$$\hat{\mu }=\frac{1}{N}\sum _{i=1}^N{X}_i,\hat{\sigma }=\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2,$$(7.5)这和矩估计得到的结果是一致的.

按照定义 7.0.1, 我们进行参数估计的结果也是一个随机变量, 从而我们不可能通过参数估计的方式来得到参数的精确值, 也不能以确定性的 (非概率的) 方式来给出参数估计结果的误差范围, 我们只能要求它偏离真实值的概率相对比较小. 通常来讲, 为了达成这一点, 我们会要求参数 $\theta$ 的估计结果 $\hat{\theta }$ 作为一个随机变量, 应该满足如下两个性质:

1.	参数 $\hat{\theta }$ 在由参数 $\theta$ 确定的概率空间中的期望 $\mathbb{E}\hat{\theta }$ 应该与真实参数值 $\theta$ 尽可能地接近, 也就是 $|\mathbb{E}\hat{\theta }-\theta |\ll 1$.
2.	参数 $\hat{\theta }$ 在由参数 $\theta$ 确定的概率空间中的方差应该尽可能地小: 也就是 $\mathrm{Var}\hat{\theta }\ll 1$.

上述两个性质中的第一个做到极致的情形, 也就是 $\mathbb{E}\hat{\theta }-\theta \equiv 0$, 或者说 $\mathbb{E}\hat{\theta }=\theta$, $\forall \theta$. 这就给出了 “无偏估计” 的定义.

定义 7.0.6 (无偏估计). 设 $X_1,X_2,\cdots ,X_N$ 是概率空间族 $\{(\Omega ,\mathcal{F},P_{\theta }){\}}_{\theta \in \Theta }$ 中某个成员 $(\Omega ,\mathcal{F},P_{\theta })$ 中的独立同分布的 $N$ 个随机变量, 他们的概率分布或概率密度函数为 $p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$, 如果参数估计 ${\hat{\theta }}_k={\hat{\theta }}_k(X_1,X_2,\cdots ,X_N)$ 作为 $(\Omega ,\mathcal{F},P)$ 满足$$\mathbb{E}{\hat{\theta }}_k={\theta }_k,k=1,2,\cdots ,r,$$(7.6)则称 $\hat{\theta }$ 是对参量 $\theta$ 的无偏估计.

例 7.0.7 (方差的无偏估计). 假设 $X_1,X_2,\cdots ,X_N$ 是概率空间族 $\{(\Omega ,\mathcal{F},P_{(\mu ,\sigma )}{\}}_{\mu \in \mathbb{R},\sigma >0}$ 中的一族独立同分布的随机变量, 使得$${\mathbb{E}}_{(\mu ,\sigma )}{X}_i=\mu ,{\mathrm{Var}}_{(\mu ,\sigma )}{X}_i={\sigma }^2,i=1,2,\cdots ,N$$对每一个 $\mu \in \mathbb{R},\sigma >0$ 都成立, 我们希望给出 $\sigma$ 的无偏估计. 利用命题 2.0.17 和命题 2.0.19 中的结论, 我们可以计算得到$${\mathbb{E}}_{(\mu ,\sigma )}\left(\frac{1}{N}\sum _{i=1}^N{X}_i^2\right)={\mu }^2+{\sigma }^2,{\mathbb{E}}_{(\mu ,\sigma )}\left({\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2\right)={\mu }^2+\frac{{\sigma }^2}{N},$$从而$${\mathbb{E}}_{(\mu ,\sigma )}\left(\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2\right)=\frac{N-1}{N}{\sigma }^2,$$(7.7)这说明 ${\sigma }^2$ 的一个无偏估计是$$\hat{\sigma }=\frac{N}{N-1}\left({\left(\frac{1}{N}\sum _{i=1}^N{X}_i\right)}^2\right)=\frac{1}{N-1}\sum _{i=1}^N(X_i-\overline{X}{)}^2,$$(7.8)其中 $\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$.

(7.8) 是一个的略反直觉的结论, 即我们最为熟知的方差计算公式与方差的无偏估计相差一个因子 $(N-1)/N$. 诚然, 当 $N$ 很大时, 这一点点差异还是可以忽略的. 事实上, 除了严格的无偏性以外, 我们还可以讲所谓 “渐近无偏性”, 也就是一个 $\mathbb{E}\hat{\theta }$ 与 $\theta$ 的差异是 $O(1/N)$ 数量级的. 我们把 (7.8) 最右手侧的 $1/(N-1)$ 换成 $1/N$ 后得到的估计就是一个渐进无偏的估计. 从 “方差较小” 的角度来讲, 有时一个严格无偏估计得到的估计结果可能并不如一个渐进无偏估计. 事实上, 严格无偏估计的方差是有下界的, 它由 Cramér-Rao 不等式给出, 这一点我们后面会介绍, 并且我们会看到, 这个下界严格达成的条件还是有些苛刻的. 因此, 我们在进行参数估计时往往不需要过度地追求无偏性, 而是要在 “使 $|\mathbb{E}\hat{\theta }-\theta |$ 尽可能小” 和 “使 $\mathrm{Var}\hat{\theta }\ll 1$ 尽可能小” 之间寻找一个平衡.