特征函数 (概率论)

关于其它含义, 请参见 “特征函数”.

在概率论中, 特征函数是随机变量的一种性质. 大致来说, 随机变量的特征函数就是该随机变量的概率分布的 Fourier 变换.

1定义

定义 1.1 (特征函数). 设 $X$ 是概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 上的实值随机变量. 定义 $X$ 的特征函数 ${\varphi }_X:\mathbb{R}\to \mathbb{C}$ 为$${\varphi }_X(t)=\mathbb{E}({\mathrm{e}}^{\mathrm{i}tX}),$$其中 $\mathbb{E}$ 表示期望. 如果考虑 $X$ 的概率分布 $\mu$, 则特征函数可以表示为 Lebesgue 积分$${\varphi }_X(t)={\int }_{\mathbb{R}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}\mu (x),$$也就是概率分布的 Fourier 变换.

特别地,

•	如果 $X$ 是离散型随机变量, 以 $p_i$ 的概率取值 $a_i$, 则$${\varphi }_X(t)=\sum _i{\mathrm{e}}^{\mathrm{i}t{x}_i}{p}_i.$$

•	如果 $X$ 是连续型随机变量, 其概率密度函数是 $f$, 则$${\varphi }_X(t)={\int }_{\mathbb{R}}{\mathrm{e}}^{\mathrm{i}tx}f(x)\mathrm{d}x.$$

•	设 $F_X$ 是 $X$ 的累积分布函数. 则 $X$ 的特征函数可以表示为 Riemann–Stieltjes 积分$${\varphi }_X(t)={\int }_{\mathbb{R}}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x).$$

对随机向量, 也可类似地定义特征函数.

定义 1.2 (多元特征函数). 设 $(\Omega ,\mathcal{F},\mathbb{P})$ 是概率空间, $V$ 是有限维实向量空间, 设 $\mathbf{X}:\Omega \to V$ 是取值于 $V$ 的随机向量. 定义 $\mathbf{X}$ 的特征函数 ${\varphi }_{\mathbf{X}}:V^{\vee }\to \mathbb{C}$ 为$${\varphi }_{\mathbf{X}}(\mathbf{t})=\mathbb{E}({\mathrm{e}}^{\mathrm{i}\mathbf{t}\cdot \mathbf{X}}),$$其中 $V^{\vee }$ 是 $V$ 的对偶空间.

2性质

以下多数性质只列出一元情形, 多元可以类推.

基本性质

命题 2.1 (基本性质). 若 $f$ 是某个随机变量的特征函数, 则

1.	$|f(t)|\le 1$;
2.	$f(-t)=\overline{f(t)}$;
3.	$f$ 在 $\mathbb{R}$ 上一致连续;
4.	(半正定性) 对任意 $t_1,\cdots ,t_n\in \mathbb{R},z_1,\cdots ,z_n\in \mathbb{C}$ 有$$\sum _{j,k=1}^n{z}_j{\bar{z}}_{k}f(t_j-t_k)\ge 0$$

关于特征函数的微分性质, 一个重要的话题是 Taylor 展开. 从形式上来看, 特征函数的 Taylor 展开中包含了各阶矩, 所以应该与矩有关系.

命题 2.2 (Taylor 展开). 设 $X$ 是随机变量.

1.	如果对某个自然数 $n$ 有 $\mathbb{E}|X{|}^n<+\infty$, 则有 Taylor 公式$${\varphi }_X(t)=\sum _{k=0}^n\frac{(\mathrm{i}t{)}^k}{k!}\mathbb{E}(X^k)+o(t^n),t\to 0$$
2.	如果 $X$ 的任意阶矩存在, 且存在 $\delta >0$ 使得$$\underset{n\to \infty }{\lim }\frac{|t{|}^n\mathbb{E}(X^n)}{n!}=0,|t|\le \delta$$则$${\varphi }_X(t)=\sum _{k=0}^{\infty }\frac{(\mathrm{i}t{)}^k}{k!}\mathbb{E}(X^k),|t|\le \delta$$

接下来对什么样的函数是特征函数稍作讨论.

命题 2.3. 设 $X_1,X_2$ 是相互独立的随机变量, 则$${\varphi }_{X_1+X_2}(t)={\varphi }_{X_1}(t){\varphi }_{X_2}(t)$$

推论 2.4. 设 $f(t)$ 是特征函数, 则

•	对任意 $n\in \mathbb{N}$, $(f(t){)}^n$ 是特征函数.

•	$|f(t){|}^2$ 是特征函数.

反演公式

关于特征函数的最重要性质是下面的反演公式, 它揭示了特征函数与分布函数的对应关系.

定理 2.5 (反演公式). 设 $X$ 是随机变量, ${\varphi }_X$ 是它的特征函数, $F$ 是分布函数. 则对任意 $a,b\in \mathbb{R}$: $$\frac{1}{2\pi }P.V.{\int }_{-\infty }^{+\infty }\frac{{\mathrm{e}}^{-\mathrm{i}ta}-{\mathrm{e}}^{-\mathrm{i}tb}}{\mathrm{i}t}{\varphi }_X(t)\mathrm{d}t=\tilde{F}(b)-\tilde{F}(a)$$其中 $P.V.$ 表示无穷积分的 Cauchy 主值; $\tilde{F}(x)=\frac{1}{2}(F(x)+F(x+0))$.

证明.

证明. 不妨设 $a<b$. 考察积分$$J(c)=\frac{1}{2\pi }{\int }_{-c}^c\frac{{\mathrm{e}}^{-\mathrm{i}ta}-{\mathrm{e}}^{-\mathrm{i}tb}}{\mathrm{i}t}{\varphi }_X(t)\mathrm{d}t$$需计算 ${\lim }_{c\to +\infty }J(c)$. 根据特征函数的定义$$J(c)=\frac{1}{2\pi }{\int }_{-c}^c\left({\int }_{\mathbb{R}}\frac{{\mathrm{e}}^{-\mathrm{i}ta}-{\mathrm{e}}^{-\mathrm{i}tb}}{\mathrm{i}t}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}F(x)\right)\mathrm{d}t$$因为函数 $\frac{{\mathrm{e}}^{-\mathrm{i}ta}-{\mathrm{e}}^{-\mathrm{i}tb}}{\mathrm{i}t}{\mathrm{e}}^{\mathrm{i}tx}$ 是有界的, 所以 $J(c)$ 有限, 且可以交换积分顺序. 于是$$\begin{array}{rl}J(c)& =\frac{1}{2\pi }{\int }_{\mathbb{R}}\left({\int }_{-c}^c\frac{{\mathrm{e}}^{-\mathrm{i}ta}-{\mathrm{e}}^{-\mathrm{i}tb}}{\mathrm{i}t}{\mathrm{e}}^{\mathrm{i}tx}\mathrm{d}t\right)\mathrm{d}F(x)\\ & =\frac{1}{\pi }{\int }_{\mathbb{R}}\left({\int }_0^c\frac{\sin t(x-a)}{t}\mathrm{d}t-{\int }_0^c\frac{\sin t(x-b)}{t}\mathrm{d}t\right)\mathrm{d}F(x)\\ & =\frac{1}{\pi }{\int }_{\mathbb{R}}(I(x-a,c)-I(x-b,c))\mathrm{d}F(x)\end{array}$$其中$$I(x,c)={\int }_0^c\frac{\sin xu}{u}\mathrm{d}u$$熟知 ${\lim }_{c\to +\infty }I(x,c)=\frac{\pi }{2}\mathrm{sgn}(x)$, 故$$\underset{c\to +\infty }{\lim }\frac{1}{\pi }(I(x-a,c)-I(x-b,c))=\{\begin{array}{l}1,a<x<b\\ 1/2,x=a,b\\ 0,其他情形\end{array}$$于是上述函数对任意 $x$ 和充分大的 $c$ 是有界的. 根据控制收敛定理 (参见 Lebesgue 积分), 有$$\begin{array}{rl}\underset{c\to +\infty }{\lim }J(c)& ={\int }_{\mathbb{R}}\underset{c\to +\infty }{\lim }\frac{1}{\pi }(I(x-a,c)-I(x-b,c))\mathrm{d}F(x)\\ & ={\int }_{(-\infty ,a)\cup (b,+\infty )}0\mathrm{d}F(x)+{\int }_{\{a,b\}}\frac{1}{2}\mathrm{d}F(x)+{\int }_{(a,b)}\mathrm{d}F(x)\\ & =\tilde{F}(b)-\tilde{F}(a)\end{array}$$

$\square$

推论 2.6 (唯一性定理). 分布函数可由特征函数唯一确定.

推论 2.7 (连续型随机变量的判据). 如果特征函数 ${\varphi }_X$ 绝对可积, 则 $X$ 是连续型随机变量, 且密度函数为$$f(x)=\frac{1}{2\pi }{\int }_{\mathbb{R}}{\varphi }_X(t){\mathrm{e}}^{-\mathrm{i}tx}\mathrm{d}t$$

对于实值的多元特征函数, 也有类似的反演公式:

$$\frac{1}{(2\pi {)}^n}\underset{c_1,\cdots ,c_n\to +\infty }{\lim }{\int }_{-c_1}^{c_1}\cdots {\int }_{-c_n}^{c_n}\prod _{j=1}^n\frac{{\mathrm{e}}^{-\mathrm{i}{t}_j{a}_j}-{\mathrm{e}}^{-\mathrm{i}{t}_j{b}_j}}{\mathrm{i}{t}_j}{\varphi }_{\mathbf{X}}(\mathbf{t})\mathrm{d}{t}_1\cdots \mathrm{d}{t}_n=\mathbb{P}(a_1\le X_1\le b_1,\cdots ,a_n\le X_n\le b_n).$$

它可以用于证明下面的与多元特征函数有关的性质.

命题 2.8 (独立性). 设 $\mathbf{X}=(X_1,\cdots ,X_n{)}^{\top }$ 是实值随机向量, 则 $X_1,\cdots ,X_n$ 相互独立当且仅当$${\varphi }_{\mathbf{X}}(\mathbf{t})=\prod _{k=1}^n{\varphi }_{X_k}(t_k)$$

术语翻译

特征函数 • 英文 characteristic function