7.3. 矩估计与最大似然估计

本节中我们介绍两种常用的点估计方法: 矩估计法与最大似然估计法.

矩估计

设总体 $X$ 的分布函数为 $F(x;{\theta }_1,\dots ,{\theta }_k)$, 其中 ${\theta }_1,\dots ,{\theta }_k$ 表示总体的 $k$ 个未知的标量参数, 且 $({\theta }_1,\dots ,{\theta }_k)$ 的所有可能取值构成集合 $\Theta$. 进一步假设对任意 $({\theta }_1,\dots ,{\theta }_k)\in \Theta$, 相应的概率分布 $F(x;{\theta }_1,\dots ,{\theta }_k)$ 的 $k$ 阶矩存在, 并记$${\mathbb{E}}_{{\theta }_1,\dots ,{\theta }_k}\left[X^j\right]={\mu }_j({\theta }_1,\dots ,{\theta }_k),\forall j=1,\dots ,k.$$换句话说, 函数 ${\mu }_j:\Theta \to \mathbb{R}$ 将任一组可能的参数 $({\theta }_1,\dots ,{\theta }_k)$ 映射为相应分布的 $j$ 阶矩. 现在, 暂时假设我们通过某种手段, 获得了总体 $X$ 的前 $k$ 阶矩的精确值, 并将它们分别记为 $m_1,m_2,\dots ,m_k$, 则可知未知参数 ${\theta }_1,\dots ,{\theta }_k$ 满足如下 $k$ 个方程: $$\begin{array}{rl}{m}_1=& {\mu }_1({\theta }_1,\dots ,{\theta }_k),\\ m_2=& {\mu }_2({\theta }_1,\dots ,{\theta }_k),\\ & ⋮\\ m_k=& {\mu }_k({\theta }_1,\dots ,{\theta }_k).\end{array}$$(7.3.1)那么当映射$$({\theta }_1,\dots ,{\theta }_k)\mapsto ({\mu }_1({\theta }_1,\dots ,{\theta }_k),\dots ,{\mu }_k({\theta }_1,\dots ,{\theta }_k))$$是一个从 $\Theta$ 到 ${\mathbb{R}}^k$ 的单射时, 通过求解方程组 (7.3.1), 我们即可求出未知参数 ${\theta }_1,\dots ,{\theta }_k$ 的值.

上述求解过程假定我们已经得到了总体 $X$ 的前 $k$ 阶矩的值. 通常情况下, 矩的求解需要事先知道 $X$ 的具体分布情况, 但若我们获得了总体 $X$ 的一组容量足够大的样本 $X_1,\dots ,X_n$, 那么 $X$ 的 $j$ 阶矩就可以用样本做出近似估计: $$\begin{array}{rl}{m}_1\approx & \frac{1}{n}\sum _{i=1}^n{X}_i,\\ m_2\approx & \frac{1}{n}\sum _{i=1}^n{X}_i^2,\\ & ⋮\\ m_k\approx & \frac{1}{n}\sum _{i=1}^n{X}_i^k.\end{array}$$矩估计方法, 就是指将 (7.3.1) 当中前 $k$ 阶矩的精确值替换为基于样本的估计值, 再求解相应的方程组: $$\begin{array}{rl}\frac{1}{n}\sum _{i=1}^n{X}_i=& {\mu }_1({\hat{\theta }}_1,\dots ,{\hat{\theta }}_k),\\ \frac{1}{n}\sum _{i=1}^n{X}_i^2=& {\mu }_2({\hat{\theta }}_1,\dots ,{\hat{\theta }}_k),\\ & ⋮\\ \frac{1}{n}\sum _{i=1}^n{X}_i^k=& {\mu }_k({\hat{\theta }}_1,\dots ,{\hat{\theta }}_k).\end{array}$$(7.3.2)上述方程组的解 ${\hat{\theta }}_1,\dots ,{\hat{\theta }}_k$ 分别给出了未知参数 ${\theta }_1,\dots ,{\theta }_k$ 的点估计量.

例 7.3.1. 设总体 $X$ 服从区间 $[{\theta }_1,{\theta }_1+{\theta }_2]$ 上的均匀分布, 其中 ${\theta }_1\in \mathbb{R}$ 以及 ${\theta }_2>0$ 为未知参数. 则有$$\begin{array}{rl}{\mu }_1({\theta }_1,{\theta }_2)=& {\mathbb{E}}_{{\theta }_1,{\theta }_2}[X]={\theta }_1+\frac{{\theta }_2}{2},\\ {\mu }_2({\theta }_1,{\theta }_2)=& {\mathbb{E}}_{{\theta }_1,{\theta }_2}[X^2]=({\theta }_1+\frac{{\theta }_2}{2}{)}^2+\frac{{\theta }_2^2}{12}.\end{array}$$那么当 $X_1,\dots ,X_n$ 为总体 $X$ 的一组样本时, 根据矩估计方法的步骤, 可得 ${\theta }_1$ 与 ${\theta }_2$ 的矩估计量 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 为如下方程的解: $$\begin{array}{rl}\frac{1}{n}\sum _{i=1}^n{X}_i=& {\mu }_1({\hat{\theta }}_1,{\hat{\theta }}_2)={\hat{\theta }}_1+\frac{{\hat{\theta }}_2}{2},\\ \frac{1}{n}\sum _{i=1}^n{X}_i^2=& {\mu }_2({\hat{\theta }}_1,{\hat{\theta }}_2)=({\hat{\theta }}_1+\frac{{\hat{\theta }}_2}{2}{)}^2+\frac{{\hat{\theta }}_2^2}{12}.\end{array}$$由此可解得$$\begin{array}{rl}{\hat{\theta }}_2=& 2\sqrt{3}{\left[\frac{1}{n}\sum _{i=1}^n{X}_i^2-(\frac{1}{n}\sum _{i=1}^n{X}_i{)}^2\right]}^{1/2},\\ {\hat{\theta }}_1=& \frac{1}{n}\sum _{i=1}^n{X}_i-\frac{{\hat{\theta }}_2}{2}.\end{array}$$

基于弱大数定律可以证明, 当方程组 (7.3.1) 具有唯一解, 且该唯一解是 $(m_1,\dots ,m_k)$ 的连续函数时, 矩估计具有相合性, 也就是说当样本容量趋于无穷大时, 矩估计量依概率收敛于真实的参数值 ¹.

最大似然估计

在最大似然估计法中, 我们首先需要引入样本的似然函数, 它在数值上等于样本 $(X_1,\dots ,X_n)$ 的联合分布列或联合概率密度函数, 但我们把它看作是给定样本观测值时关于未知参数的一个函数.

定义 7.3.2. 设总体 $X$ 的分布列或概率密度函数为 $f(x;{\theta }_1,\dots ,{\theta }_k)$, 其中 ${\theta }_1,\dots ,{\theta }_k$ 表示 $k$ 个未知参数, 且 $({\theta }_1,\dots ,{\theta }_k)$ 的所有可能取值构成集合 $\Theta$. 对任意正整数 $n$ 以及 $\mathbf{x}=(x_1,\dots ,x_n)\in {\mathbb{R}}^n$, 定义简单随机样本的似然函数 (likelihood function) $L\left(\cdot ;\mathbf{x}\right):\Theta \to \left[0,+\infty \right[$ 为$$L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})=\prod _{i=1}^{n}f(x_i;{\theta }_1,\dots ,{\theta }_k).$$

许多情况下, 我们还会用到对数似然函数 (log likelihood function)$$\ln L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})=\sum _{i=1}^n\ln f(x_i;{\theta }_1,\dots ,{\theta }_k).$$

最大似然估计法的基本步骤如下: 给定样本容量 $n$, 对每个 $\mathbf{x}=(x_1,\dots ,x_n)$, 求解使得似然函数 $L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})$ 取最大值的点 ²: $$({\hat{\theta }}_1(\mathbf{x}),\dots ,{\hat{\theta }}_k(\mathbf{x}))=\underset{({\theta }_1,\dots ,{\theta }_k)\in \Theta }{\mathrm{argmax}}L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})$$接下来我们将样本 $X_1,\dots ,X_n$ 代入上式给出的函数 ${\hat{\theta }}_1,\dots ,{\hat{\theta }}_k$ 当中, 即可对每一个参数 ${\theta }_j$ 得到一个点估计量 ${\hat{\theta }}_j(X_1,\dots ,X_n)$. 我们将这个点估计量称为最大似然估计量 (maximum likelihood estimator). 由于 $x\mapsto \ln x$ 是单调递增的函数, 在求解最大似然估计量时, 我们也可以对对数似然函数 $\ln L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})$ 进行最大化, 而且许多情况下对数似然函数的最大值点更好求解. 特别是, 当 $\Theta$ 为 ${\mathbb{R}}^k$ 的开集且对数似然函数在 $\Theta$ 上可微时, 我们可以通过求解方程组$$\frac{\partial \ln L({\theta }_1,\dots ,{\theta }_k;\mathbf{x})}{\partial {\theta }_j}=0,j=1,\dots ,k$$(7.3.3)来得到对数似然函数的驻点, 而后从这些驻点中进一步找出最大值点. 方程 (7.3.3) 经常被称为对数似然方程 (log-likelihood equation).

例 7.3.3. 设总体 $X$ 服从一元正态分布, 其期望 $\mu \in \mathbb{R}$ 与方差 ${\sigma }^2>0$ 均未知. 则相应的似然函数为$$\begin{array}{rl}L(\mu ,{\sigma }^2;\mathbf{x})=& \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)\\ =& \frac{1}{(2\pi {\sigma }^2{)}^{n/2}}\exp \left(-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2\right),\end{array}$$对数似然函数为$$\ln L(\mu ,{\sigma }^2;\mathbf{x})=-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{n}{2}\ln {\sigma }^2-\frac{n}{2}\ln (2\pi ).$$为了求解对数似然函数的最大值点, 我们计算对数似然函数分别对 $\mu$ 与 ${\sigma }^2$ 的偏导数并令它们等于零, 可得到如下方程组: $$\begin{array}{rl}0& =\frac{\partial \ln L(\mu ,{\sigma }^2;\mathbf{x})}{\partial \mu }=\frac{1}{{\sigma }^2}\left(\sum _{i=1}^n{x}_i-n\mu \right),\\ 0& =\frac{\partial \ln L(\mu ,{\sigma }^2;\mathbf{x})}{\partial ({\sigma }^2)}=\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{n}{2{\sigma }^2}.\end{array}$$解上述方程组, 可得$$\begin{array}{rl}\hat{\mu }(\mathbf{x})& =\frac{1}{n}\sum _{i=1}^n{x}_i,\\ \widehat{{\sigma }^2}(\mathbf{x})& =\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }(\mathbf{x}){)}^2.\end{array}$$可以证明, 上式给出的 $\hat{\mu }(\mathbf{x})$ 与 $\widehat{{\sigma }^2}(\mathbf{x})$ 的确使得对数似然函数取到最大值. 故期望 $\mu$ 与方差 ${\sigma }^2$ 的最大似然估计量为$$\begin{array}{rl}\hat{\mu }(X_1,\dots ,X_n)& =\frac{1}{n}\sum _{i=1}^n{X}_i=\overline{X},\\ \widehat{{\sigma }^2}(X_1,\dots ,X_n)& =\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2=\frac{n-1}{n}{S}^2.\end{array}$$可以看到, 期望的最大似然估计量就是样本均值, 但方差的最大似然估计量与样本方差相差一个因子 $(n-1)/n$.

例 7.3.4. 设总体 $X$ 服从区间 $[0,\theta ]$ 上的均匀分布, 其中 $\theta >0$ 为未知参数. 令 $X_1,\dots ,X_n$ 为总体 $X$ 的一组样本, 我们希望求 $\theta$ 的最大似然估计量.

由题设不难得到似然函数为$$L(\theta ;x_1,\dots ,x_n)=\prod _{i=1}^n\left(\frac{1}{\theta }\cdot 1_{x_i\le \theta }(\theta )\right)=\{\begin{array}{ll}{\theta }^{-n},& \text{若 }\theta \ge \max \{x_1,\dots ,x_n\},\\ 0,& \text{其它情况},\end{array}$$其中 $1_{x_i\le \theta }(\theta )$ 在 $x_i\le \theta$ 时为 $1$ 而在其它情况下为 $0$. 由于 $\theta \mapsto {\theta }^{-n}$ 严格单调递减, 故当 $\theta =\max \{x_1,\dots ,x_n\}$ 时似然函数取到最大值, 因而 $\theta$ 的最大似然估计量为$$\hat{\theta }=\max \{X_1,\dots ,X_n\}.$$$\square$

最大似然估计法具有一个比较直观的解释: 当我们收集到样本数据后, 那么一般来说, 与其它可能的参数值相比, 真实参数值应当更有利于产生这些数据, 或者说真实参数值应当使得产生这些数据的可能性 (近似) 达到最大. 然而, 真正让最大似然估计法被广为接受的原因, 还是它在大样本情形下所具有的良好的估计性能. 可以证明, 在较为宽松的条件下, 最大似然估计具有如下性质 (表述并不十分严格):

1.	最大似然估计具有相合性.
2.	与其它具有相合性的点估计方法相比, 最大似然估计法在大样本极限时具有最小的均方误差.
3.	在大样本极限时, 最大似然估计量的分布趋于一个期望为真实参数值的正态分布.

我们将在本节最后一小节的选读内容中给出一种简单情形下相合性的证明. 后两条性质的严格表述与证明可参阅 [15] 第 7.3 节.

注 7.3.5. 本节中, 我们针对一些形式比较简单的参数化分布族推导了最大似然估计量的表达式. 然而, 对于稍微复杂一些的参数化分布族, 一般是没有办法求出对数似然函数最大值点的闭式表达式的, 此时我们就需要借助最优化算法迭代求解最大似然估计值. 常见的可用于求解最大似然估计值的最优化算法包括梯度上升法 (gradient ascent method)、共轭梯度法 (conjugate gradient method)、BFGS 算法 (Broyden–Fletcher–Goldfarb–Shanno algorithm) 等 (参见 [17]), 以及针对隐变量模型的期望—最大化算法 (expectation–maximization algorithm) 等 (参见 [18]); 当矩估计量可以求解时, 我们也会考虑用矩估计值作为最优化算法迭代的初始点. 许多情况下对数似然函数不是凹函数, 这进一步增加了最大似然估计的难度, 需要采取一些额外技术 (例如多次随机初始化) 进行近似求解.

(${}^{\star }$) 矩估计与最大似然估计的相合性证明

我们首先证明矩估计的相合性, 它实际上是如下引理的直接推论:

引理 7.3.6. 设 $\mathcal{M}$ 为 ${\mathbb{R}}^k$ 的开子集, $(c_1,\dots ,c_k)$ 为 $\mathcal{M}$ 内的一个点, $g:\mathcal{M}\to \mathbb{R}$ 为一连续函数. 若$$\begin{array}{rl}& X_{1,1},X_{1,2},\dots ,X_{1,n},\dots \\ & X_{2,1},X_{2,2},\dots ,X_{2,n},\dots \\ & ⋮\\ & X_{k,1},X_{k,2},\dots ,X_{k,n},\dots \end{array}$$为 $k$ 列随机变量, 且固定任意 $j=1,\dots ,k$, 有$$X_{j,n}\stackrel{P}{\to }{c}_j,n\to \infty ,$$则$$g(X_{1,n},\dots ,X_{k,n})\stackrel{P}{\to }g(c_1,\dots ,c_k),n\to \infty .$$

证明. 任取 $ϵ>0$ 与 ${ϵ}^{\prime }>0$. 由于 $g$ 是开集 $\mathcal{M}$ 上的连续函数, 故存在 $\delta >0$ 使得对任意的 $(x_1,\dots ,x_k)\in {\mathbb{R}}^k$, 有$$\underset{1\le j\le k}{\max }|x_j-c_j|\le \delta ⟹|g(x_1,\dots ,x_k)-g(c_1,\dots ,c_k)|\le ϵ,$$从而对任意 $n\in {\mathbb{N}}_{+}$, 有$$\mathbb{P}\left(\underset{1\le j\le k}{\max }\left|X_{j,n}-c_j\right|\le \delta \right)\le \mathbb{P}\left(\left|g(X_{1,n},\dots ,X_{k,n})-g(c_1,\dots ,c_k)\right|\le ϵ\right).$$(7.3.4)另一方面, 由弱大数定律可得, 对任意 $j=1,\dots ,k$, 均有$$\underset{n\to \infty }{\lim }\mathbb{P}\left(\left|X_{j,n}-c_j\right|>\delta \right)=0,\forall j=1,\dots ,k.$$故存在正整数 $N$, 使得 $n>N$ 时均有$$\mathbb{P}\left(\left|X_{j,n}-c_j\right|>\delta \right)\le \frac{{ϵ}^{\prime }}{k},\forall j=1,\dots ,k.$$因而 $n>N$ 时有$$\begin{array}{rl}\mathbb{P}\left(\underset{1\le j\le k}{\max }\left|X_{j,n}-c_j\right|>\delta \right)=& \mathbb{P}\left(\bigcup _{j=1}^k\left\{\left|X_{j,n}-c_j\right|>\delta \right\}\right)\\ \le & \sum _{j=1}^k\mathbb{P}\left(\left|X_{j,n}-c_j\right|>\delta \right)\le k\cdot \frac{{ϵ}^{\prime }}{k}={ϵ}^{\prime }.\end{array}$$将以上结果代入式 (7.3.4), 可得 $n>N$ 时有$$\begin{array}{rl}\mathbb{P}\left(\left|g(X_{1,n},\dots ,X_{k,n})-g(c_1,\dots ,c_k)\right|\le ϵ\right)\ge & 1-\mathbb{P}\left(\underset{1\le j\le k}{\max }\left|X_{j,n}-c_j\right|>\delta \right)\\ \ge & 1-{ϵ}^{\prime }.\end{array}$$由 ${ϵ}^{\prime }>0$ 的任意性, 可得$$\underset{n\to \infty }{\lim }\mathbb{P}\left(\left|g(X_{1,n},\dots ,X_{k,n})-g(c_1,\dots ,c_k)\right|\le ϵ\right)=1,$$再由 $ϵ>0$ 的任意性可得 $n\to \infty$ 时有 $g(X_{1,n},\dots ,X_{k,n})\stackrel{P}{\to }g(c_1,\dots ,c_k)$.

$\square$

定理 7.3.7 (矩估计的相合性). 设总体 $X$ 的分布函数为 $F(x;{\theta }_1,\dots ,{\theta }_k)$, 其中未知参数 $({\theta }_1,\dots ,{\theta }_k)$ 的所有可能取值构成集合 $\Theta$, 且对每个 $({\theta }_1,\dots ,{\theta }_k)\in \Theta$, 分布 $F(x;{\theta }_1,\dots ,{\theta }_k)$ 的 $k$ 阶矩均存在. 令向量值函数 $\mathbf{\mu }:\Theta \to {\mathbb{R}}^k$ 由下式给出: $$\mathbf{\mu }({\theta }_1,\dots ,{\theta }_k)=\left({\mathbb{E}}_{{\theta }_1,\dots ,{\theta }_k}\left[X^1\right],\dots ,{\mathbb{E}}_{{\theta }_1,\dots ,{\theta }_k}\left[X^k\right]\right),$$其中 ${\mathbb{E}}_{{\theta }_1,\dots ,{\theta }_k}\left[X^j\right]$ 表示取期望时 $X$ 服从的分布为 $F(x;{\theta }_1,\dots ,{\theta }_k)$. 记 $\mathcal{M}=\mathbf{\mu }(\Theta )$, 并进一步假设如下条件成立:

1.	$\mathcal{M}$ 是一个开集.
2.	$\mathbf{\mu }$ 是一个单射, 从而在 $\mathcal{M}$ 上有逆映射 ${\mathbf{\mu }}^{-1}:\mathcal{M}\to \Theta$.
3.	${\mathbf{\mu }}^{-1}$ 在 $\mathcal{M}$ 上连续.

记样本容量为 $n$ 的矩估计量为$$\left({\hat{\theta }}_1^{(n)},\dots ,{\hat{\theta }}_k^{(n)}\right)={\mathbf{\mu }}^{-1}\left(\frac{1}{n}\sum _{i=1}^n{X}_i^1,\dots ,\frac{1}{n}\sum _{i=1}^n{X}_i^k\right)$$则当总体的参数为任一 $({\theta }_1,\dots ,{\theta }_k)\in \Theta$ 时, 对于每个 $l=1,\dots ,k$, 相应的矩估计量 ${\hat{\theta }}_l^{(n)}$ 在 $n\to \infty$ 时均依概率收敛于 ${\theta }_l$.

证明. 固定 $({\theta }_1,\dots ,{\theta }_k)\in \Theta$, 用随机变量 $X$ 代表参数 $({\theta }_1,\dots ,{\theta }_k)$ 对应的总体, 并令 $(m_1,\dots ,m_k)=\mathbf{\mu }({\theta }_1,\dots ,{\theta }_k)$. 任取 $l\in \{1,\dots ,k\}$, 并将向量值函数 ${\mathbf{\mu }}^{-1}$ 的第 $l$ 个分量记为 $g_l$. 注意到$$g_l(m_1,\dots ,m_k)={\theta }_l$$以及$$g_l\left(\frac{1}{n}\sum _{i=1}^n{X}_i^j,\dots ,\frac{1}{n}\sum _{i=1}^n{X}_i^j\right)={\hat{\theta }}_l^{(n)}.$$由弱大数定律, 可得$$\frac{1}{n}\sum _{i=1}^n{X}_i^j\stackrel{P}{\to }{m}_j,\forall j=1,\dots ,k,$$而由定理条件, 可知 $g_l$ 在开集 $\mathcal{M}$ 上连续, 且 $(m_1,\dots ,m_k)\in \mathcal{M}$. 故可以利用引理 7.3.6, 得$$g_l\left(\frac{1}{n}\sum _{i=1}^n{X}_i^j,\dots ,\frac{1}{n}\sum _{i=1}^n{X}_i^j\right)\stackrel{P}{\to }{g}_l(m_1,\dots ,m_k),n\to \infty ,$$也即$${\hat{\theta }}_l^{(n)}\stackrel{P}{\to }{\theta }_l,n\to \infty .$$$\square$

接下来我们给出最大似然估计相合性的证明. 简单起见, 此处只考虑未知参数为单个实数 (标量), 且参数范围为有限集合的情形.

定理 7.3.8 (最大似然估计的相合性). 设总体 $X$ 的概率密度函数为 $f(x;\theta )$, 其中 $\theta$ 为未知参数, 且 $\theta$ 的所有可能取值构成一有限集合 $\Theta$. 令 ${\hat{\theta }}^{(n)}$ 表示样本容量为 $n$ 时参数 $\theta$ 的最大似然估计量, 则当总体的参数取为任一 $\theta \in \Theta$ 时, 均有$$\underset{n\to \infty }{\lim }{\mathbb{P}}_{\theta }\left(|{\hat{\theta }}^{(n)}-\theta |>ϵ\right)=0,\forall ϵ>0.$$

证明. 为了避免符号上的混淆, 我们将总体的真实参数改用 ${\theta }_0\in \Theta$ 表示. 令 $X_1,X_2,\dots$ 为一列独立且与 $X$ 同分布的随机变量. 任取 ${\theta }^{\prime }\in \Theta \backslash \{{\theta }_0\}$, 由琴生不等式可得 ³$$\begin{array}{rl}{\mathbb{E}}_{{\theta }_0}\left[\ln \frac{f(X;{\theta }^{\prime })}{f(X;{\theta }_0)}\right]<& \ln {\mathbb{E}}_{{\theta }_0}\left[\frac{f(X;{\theta }^{\prime })}{f(X;{\theta }_0)}\right]\\ =& \ln {\int }_{-\infty }^{+\infty }\frac{f(x;{\theta }^{\prime })}{f(x;{\theta }_0)}\cdot f(x;{\theta }_0)\mathrm{d}x=\ln 1=0.\end{array}$$(7.3.5)上式中能够取到严格不等号是因为 $x\mapsto -\ln x$ 是严格凸的, 且 ${\theta }^{\prime }$ 给出与 ${\theta }_0$ 不同的概率分布. 接下来, 对任意 $\theta \in \Theta$, 记事件 $E_{\theta }$ 为$$E_{\theta }=\left\{\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n\ln \frac{f(X_i;\theta )}{f(X_i;{\theta }_0)}={\mathbb{E}}_{{\theta }_0}\left[\ln \frac{f(X;\theta )}{f(X;{\theta }_0)}\right]\right\},$$则由 Kolmogorov 强大数定律, 可知对任意 $\theta \in \Theta$, 均有 ${\mathbb{P}}_{{\theta }_0}(E_{\theta })=1$, 而又因为 $\Theta$ 是有限集, 故$${\mathbb{P}}_{{\theta }_0}\left({\bigcap }_{\theta \in \Theta }{E}_{\theta }\right)=1.$$接下来任取 $\omega \in {\bigcap }_{\theta \in \Theta }{E}_{\theta }$, 由式 (7.3.5) 可知$$\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n\ln \frac{f(X_i(\omega );{\theta }^{\prime })}{f(X_i(\omega );{\theta }_0)}<0,\forall {\theta }^{\prime }\ne {\theta }_0,$$而由极限的保号性, 可知存在足够大的正整数 $N(\omega )$, 使得 $n\ge N(\omega )$ 时均有$$\sum _{i=1}^n\ln \frac{f(X_i(\omega );{\theta }^{\prime })}{f(X_i(\omega );{\theta }_0)}<0,\forall {\theta }^{\prime }\ne {\theta }_0,$$也即 ${\sum }_{i=1}^n\ln f(X_i(\omega );{\theta }^{\prime })<{\sum }_{i=1}^n\ln f(X_i(\omega );{\theta }_0),\forall {\theta }^{\prime }\ne {\theta }_0$. 这意味着 $n\ge N(\omega )$ 时有$$\underset{\theta \in \Theta }{\mathrm{argmax}}\sum _{i=1}^n\ln f(X_i(\omega );\theta )={\theta }_0.$$但由最大似然估计量的定义, 可知$${\hat{\theta }}^{(n)}=\underset{\theta \in \Theta }{\mathrm{argmax}}\sum _{i=1}^n\ln f(X_i;\theta ),$$故$$\underset{n\to \infty }{\lim }{\hat{\theta }}^{(n)}(\omega )={\theta }_0.$$由 $\omega \in {\bigcap }_{\theta \in \Theta }{E}_{\theta }$ 的任意性, 即得到$${\mathbb{P}}_{{\theta }_0}\left(\underset{n\to \infty }{\lim }{\hat{\theta }}^{(n)}={\theta }_0\right)\ge {\mathbb{P}}_{{\theta }_0}\left({\bigcap }_{\theta \in \Theta }{E}_{\theta }\right)=1.$$最后, 由几乎必然收敛与依概率收敛的关系, 可知 ${\hat{\theta }}^{(n)}\stackrel{P}{\to }{\theta }_0$.

$\square$

注 7.3.9. 不难将上面的证明过程移植到总体为离散型随机变量的情形. 而对于更加一般的 $\Theta$, 为证明最大似然估计相合性, 则需要对总体所在的参数化分布族施加一些限制条件, 且需要用到不少分析上的技巧, 但刨去这些技巧之后, 背后的证明思路依然和上述证明是一致的; 可参阅 [15] 第 7.3.2 节.

脚注

1.	^ 该结果的严格表述以及证明见本节最后一小节的选读内容.
2.	^ 若 $\Theta$ 中存在多个点使得似然函数取到最大值, 则在其中任取一个即可. 若似然函数不存在最大值点, 则称 $\theta$ 的最大似然估计量不存在.
3.	^ 本讲义第 2、3 章中对于期望的定义与讨论不包括它取 $\pm \infty$ 的情形, 但实际上对于某些随机变量, 我们可以定义其期望为 $+\infty$ 或 $-\infty$. 可以证明, ${\mathbb{E}}_{{\theta }_0}\left[\ln \frac{f(X;{\theta }^{\prime })}{f(X;{\theta }_0)}\right]$ 要么取有限值, 要么取 $-\infty$, 而它取 $-\infty$ 的情形同样可以被不等式 (7.3.5) 包括进来. 此外, 后面应用强大数定律时, 所得到的结论对于 ${\mathbb{E}}_{{\theta }_0}\left[\ln \frac{f(X;{\theta }^{\prime })}{f(X;{\theta }_0)}\right]=-\infty$ 的情形也是适用的.