Markov 不等式

Markov 不等式是概率论中基础的不等式, 它刻画了非负随机变量不小于某值概率的上界, 用其期望刻画. 对非负随机变量 $X$ 和 $a>0$, 从直观上来看, 我们有$$\mathbb{E}(X)=\mathbb{P}(X<a)\mathbb{E}(X\mid X<a)+\mathbb{P}(X\ge a)\mathbb{E}(X\mid X\ge a),$$在事件 $(X\ge a)$ 内有 $\mathbb{E}(X\mid X\ge a)\ge a$, 所以$$\mathbb{E}(X)\ge \mathbb{P}(X\ge a)\mathbb{E}(X\mid X\ge a)\ge a\mathbb{P}(X\ge a),$$从而得到 $\mathbb{P}(X\ge a)$ 的上界估计.

1叙述与证明

定理 1.1 (Markov 不等式). 设 $(\Omega ,\mathcal{F},\mathbb{P})$ 是概率空间, $X$ 是其上的非负随机变量, 其期望存在. 则对任意 $a>0$, 有$$\mathbb{P}(X\ge a)\le \frac{\mathbb{E}(X)}{a}.$$

证明 (用期望定义). 根据定义和 $X$ 是非负的: $$\mathbb{E}(X)={\int }_0^{+\infty }x\mathrm{d}F(x),$$其中 $F$ 是累积分布函数. 此时$$\mathbb{E}(X)\ge {\int }_a^{+\infty }x\mathrm{d}F(x)\ge a{\int }_a^{+\infty }\mathrm{d}F(x)=a\mathbb{P}(X\ge a),$$也就得到结果.

$\square$

证明 (用指示变量). 记 $I_a$ 为事件 $(X\ge a)$ 的指示变量. 则有等式$$a{I}_a\le X,$$这是因为, 如果 $X<a$, 则 $a{I}_a=0\le X$; 如果 $X\ge a$, 则 $a{I}_a=a\le X$. 两边取期望: $$\mathbb{E}(a{I}_a)=a\mathrm{P}(X\ge a)\le \mathbb{E}(X).$$$\square$

2应用

通过 Markov 不等式可以无困难地推导出 Chebyshev 不等式, 参见对应条目.

另外, 借助矩母函数, 可以得到下面的 Chernoff 界:

推论 2.1 (Chernoff 界). 设 $(\Omega ,\mathcal{F},\mathbb{P})$ 是概率空间, $X$ 是其上的随机变量, 存在 矩母函数 $M(t)=\mathbb{E}({\mathrm{e}}^{tX})$. 则对任意实数 $a$: $$\begin{gathered} \mathbb{E}(X\ge a)\le M(t){\mathrm{e}}^{-ta},\forall t>0, \\ \mathbb{E}(X\le a)\le M(t){\mathrm{e}}^{-ta},\forall t<0, \end{gathered}$$

证明. 不失一般性, 只证明第一个式子. 根据 Markov 不等式: $$\mathbb{E}(X\ge a)=\mathbb{E}({\mathrm{e}}^{tX}\le {\mathrm{e}}^{ta})\le \frac{\mathbb{E}({\mathrm{e}}^{tX})}{{\mathrm{e}}^{ta}}=M(t){\mathrm{e}}^{-ta}.$$$\square$

术语翻译

Markov 不等式 • 英文 Markov’s inequality