A.1. 形如 ∑x∈Xf(x) 的求和式

本节中, 我们将定义形如$$\sum _{x\in \mathcal{X}}f(x)$$(A.1.1)的求和式应如何取值. 这里 $\mathcal{X}$ 为一可数集, $f:\mathcal{X}\to \mathbb{R}$ 为实值函数 ¹. 该求和式取值的严格定义如下:

•

当 $\mathcal{X}$ 为空集时, 定义 ${\sum }_{x\in \mathcal{X}}f(x)=0$; 当 $\mathcal{X}$ 为有限集时, ${\sum }_{x\in \mathcal{X}}f(x)$ 定义为所有 $f(x),x\in \mathcal{X}$ 的和. 这两种情况下, 我们总是称 ${\sum }_{x\in \mathcal{X}}f(x)$ 是收敛的.

•

当 $\mathcal{X}$ 为可数无限集时, 则任取一序列 $x_1,x_2,x_3,\dots$ 使其不重复地枚举 $\mathcal{X}$ 的所有元素, 当级数 ${\sum }_{j=1}^{\infty }|f(x_j)|$ 收敛时, 我们称 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛, 并定义$$\sum _{x\in \mathcal{X}}f(x)=\sum _{j=1}^{\infty }f(x_j),$$否则称 ${\sum }_{x\in \mathcal{X}}f(x)$ 发散． 由于求和式 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛要求 ${\sum }_{j=1}^{\infty }f(x_j)$ 绝对收敛, 因此 ${\sum }_{x\in \mathcal{X}}f(x)$ 的值与序列 $(x_j{)}_{j=1}^{\infty }$ 的具体取法无关, 也就是说以上定义是无歧义的.

根据以上定义可知, ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛当且仅当 ${\sum }_{x\in \mathcal{X}}|f(x)|$ 收敛.

由上述定义及级数收敛的相关知识, 不难得到求和式的如下性质:

命题 A.1.1. 设 $\mathcal{X}$ 为一至多可数集, $f,g$ 为两个定义在 $\mathcal{X}$ 上的实值函数.

1.	若 ${\sum }_{x\in \mathcal{X}}f(x)$ 与 ${\sum }_{x\in \mathcal{X}}g(x)$ 均收敛, 则对任意 $\alpha ,\beta \in \mathbb{R}$, ${\sum }_{x\in \mathcal{X}}(\alpha f(x)+\beta g(x))$ 也收敛, 且$$\sum _{x\in \mathcal{X}}(\alpha f(x)+\beta g(x))=\alpha \sum _{x\in \mathcal{X}}f(x)+\beta \sum _{x\in \mathcal{X}}g(x).$$
2.	若 $0\le f(x)\le g(x),\forall x\in \mathcal{X}$, 且 ${\sum }_{x\in \mathcal{X}}g(x)$ 收敛, 则 ${\sum }_{x\in \mathcal{X}}f(x)$ 也收敛, 且$$\sum _{x\in \mathcal{X}}f(x)\le \sum _{x\in \mathcal{X}}g(x).$$

在涉及到离散随机变量的理论推导当中, 我们经常需要对多重求和式交换求和次序. 利用以下定理, 我们可以验证求和次序是否可交换.

定理 A.1.2. 设 $\mathcal{X}$ 为至多可数集, 函数 $f:\mathcal{X}\to \left[0,+\infty \right[$ 取值非负, $\mathcal{I}$ 为一至多可数集, 每个 $i\in \mathcal{I}$ 对应于一个集合 ${\mathcal{X}}_i\subseteq \mathcal{X}$, 且满足$$\bigcup _{i\in \mathcal{I}}{\mathcal{X}}_i=\mathcal{X}\text{以及}{\mathcal{X}}_i\cap {\mathcal{X}}_j=\varnothing ,\forall i\ne j,$$则 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛当且仅当

1.	对于每个 $i\in \mathcal{I}$, ${\sum }_{x\in {\mathcal{X}}_i}f(x)$ 均收敛, 且
2.	${\sum }_{i\in \mathcal{I}}s(i)$ 收敛, 其中$$s(i)=\sum _{x\in {\mathcal{X}}_i}f(x).$$

此外, 当 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛时有$$\sum _{x\in \mathcal{X}}f(x)=\sum _{i\in \mathcal{I}}s(i)=\sum _{i\in \mathcal{I}}(\sum _{x\in {\mathcal{X}}_i}f(x)).$$

定理 A.1.2 的证明较长且涉及到不少数学分析的知识点, 我们将它放在本节最后一小节中作为选读内容. 下面我们给出该定理的一个直接推论:

推论 A.1.3. 设 $\mathcal{X},\mathcal{Y}$ 为两个可数无限集, $f:\mathcal{X}\times \mathcal{Y}\to \mathbb{R}$ 为一实值函数. 若如下求和式中的任意一个收敛: $$\sum _{x\in \mathcal{X}}(\sum _{y\in \mathcal{Y}}|f(x,y)|),\sum _{y\in \mathcal{Y}}(\sum _{x\in \mathcal{X}}|f(x,y)|),$$则$$\sum _{x\in \mathcal{X}}(\sum _{y\in \mathcal{Y}}f(x,y))\text{与}\sum _{y\in \mathcal{Y}}(\sum _{x\in \mathcal{X}}f(x,y))$$均收敛, 且二者的取值相同.

证明. (${}^{\star }$) 令$${\mathcal{U}}_x=\{x\}\times \mathcal{Y},\forall x\in \mathcal{X}\text{以及}{\mathcal{V}}_y=\mathcal{X}\times \{y\},\forall y\in \mathcal{Y},$$则不难看出$$\bigcup _{x\in \mathcal{X}}{\mathcal{U}}_x=\bigcup _{y\in \mathcal{Y}}{\mathcal{V}}_y=\mathcal{X}\times \mathcal{Y}$$以及$$\begin{array}{rl}{\mathcal{U}}_{x_1}\cap {\mathcal{U}}_{x_2}& =\varnothing ,\forall x_1\ne x_2,\\ {\mathcal{V}}_{y_1}\cap {\mathcal{V}}_{y_2}& =\varnothing ,\forall y_1\ne y_2.\end{array}$$令$$f^{+}(x,y)=\max \left\{f(x,y),0\right\},f^{-}(x,y)=\max \left\{-f(x,y),0\right\},$$则有 $0\le f^{+}(x,y)\le |f(x,y)|$ 以及 $0\le f^{-}(x,y)\le |f(x,y)|$. 故由待证推论中所设的条件、命题 A.1.1 第 2 部分以及定理 A.1.2 可得, 以下三个求和式均收敛且具有相同的取值: $$\sum _{(x,y)\in \mathcal{X}\times \mathcal{Y}}{f}^{+}(x,y),\sum _{x\in \mathcal{X}}(\sum _{y\in \mathcal{Y}}{f}^{+}(x,y)),\sum _{y\in \mathcal{Y}}(\sum _{x\in \mathcal{X}}{f}^{+}(x,y)).$$同理, 以下三个求和式均收敛且具有相同的取值: $$\sum _{(x,y)\in \mathcal{X}\times \mathcal{Y}}{f}^{-}(x,y),\sum _{x\in \mathcal{X}}(\sum _{y\in \mathcal{Y}}{f}^{-}(x,y)),\sum _{y\in \mathcal{Y}}(\sum _{x\in \mathcal{X}}{f}^{-}(x,y)).$$最后, 由 $f(x,y)=f^{+}(x,y)-f^{-}(x,y)$, 以及命题 A.1.1 第 1 部分可得$$\sum _{x\in \mathcal{X}}(\sum _{y\in \mathcal{Y}}f(x,y))\text{与}\sum _{y\in \mathcal{Y}}(\sum _{x\in \mathcal{X}}f(x,y))$$均收敛, 且二者的取值相同.

$\square$

推论 A.1.3 又被称为无限和的 Fubini 定理.

注 A.1.4. (${}^{\star }$) 需要注意的是, ${\sum }_{x\in \mathcal{X}}\left({\sum }_{y\in \mathcal{Y}}|f(x,y)|\right)$ 收敛仅仅是 ${\sum }_{x\in \mathcal{X}}\left({\sum }_{y\in \mathcal{Y}}f(x,y)\right)$ 收敛的一个充分条件而非必要条件. 由定义, ${\sum }_{x\in \mathcal{X}}\left({\sum }_{y\in \mathcal{Y}}f(x,y)\right)$ 收敛的充要条件是

1.	每个 ${\sum }_{y\in \mathcal{Y}}|f(x,y)|$ 均收敛, 且
2.	${\sum }_{x\in \mathcal{X}}\left|{\sum }_{y\in \mathcal{Y}}f(x,y)\right|$ 收敛.

作为一个例子, 我们考虑 $\mathcal{X}=\mathcal{Y}=\mathbb{N}$, $$f(x,y)=\{\begin{array}{ll}1,& \text{若}y=x,\\ -1,& \text{若}y=x+1,\\ 0,& \text{其它情况}.\end{array}$$则 ${\sum }_{x\in \mathcal{X}}\left({\sum }_{y\in \mathcal{Y}}|f(x,y)|\right)$ 发散, 但对每个 $x\in \mathcal{X}$, 均有$$\sum _{y\in \mathcal{Y}}|f(x,y)|=|1|+|-1|=2,$$以及$$\sum _{x\in \mathcal{X}}|\sum _{y\in \mathcal{Y}}f(x,y)|=\sum _{x\in \mathcal{X}}\left|1+(-1)\right|=0.$$因此 ${\sum }_{x\in \mathcal{X}}\left({\sum }_{y\in \mathcal{Y}}f(x,y)\right)$ 收敛. 注意到该例中的多重求和式不能交换求和次序.

关于求和式 ${\sum }_{x\in \mathcal{X}}f(x)$ 更详细的内容, 读者可参考 [31] 第 8.2 节.

(${}^{\star }$) 定理 A.1.2 的证明

我们先证明如下引理:

引理 A.1.5. 设 $\mathcal{X}$ 非空, $f(x)\ge 0,\forall x\in \mathcal{X}$, 则 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛时$$\sum _{x\in \mathcal{X}}f(x)=\sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\},$$且 ${\sum }_{x\in \mathcal{X}}f(x)$ 发散当且仅当上式右端为 $+\infty$.

证明. 待证结论在 $\mathcal{X}$ 为有限集时显然成立, 故接下来我们假设 $\mathcal{X}$ 为可数无限集. 令序列 ${\bar{x}}_1,{\bar{x}}_2,\dots$ 为任一不重复地枚举 $\mathcal{X}$ 的所有元素的序列, 并记$$s=\sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\in [0,+\infty ].$$

先考虑 $s=+\infty$ 的情形. 由 $s$ 的定义可知, 对任意正整数 $k$, 均存在正整数 ${\ell }_k$ 以及互不相同的正整数 $j(k,1),\dots ,j(k,{\ell }_k)$ 使得$$f({\bar{x}}_{j(k,1)})+\cdots +f({\bar{x}}_{j(k,{\ell }_k)})>k.$$现令 $m(k)=\max \{j(k,1),\dots ,j(k,{\ell }_k)\},k\in {\mathbb{N}}_{+}$, 则给定任一正整数 $k$ 时, 只要取 $n\ge m(k)$ 就有$$\sum _{j=1}^{n}f({\bar{x}}_j)\ge \sum _{j=1}^{m(k)}f({\bar{x}}_j)\ge f({\bar{x}}_{j(k,1)})+\cdots +f({\bar{x}}_{j(k,{\ell }_k)})>k.$$故 ${\sum }_{j=1}^{\infty }f({\bar{x}}_j)$ 发散, 从而 ${\sum }_{x\in \mathcal{X}}f(x)$ 发散.

再考虑 $s$ 为有限实数的情形. 由 $s$ 的定义可知, 对任意正整数 $n$, 有$$\sum _{j=1}^{n}f({\bar{x}}_j)=f({\bar{x}}_1)+\cdots +f({\bar{x}}_n)\le s,$$故 ${\sum }_{j=1}^{\infty }f({\bar{x}}_j)$ 收敛且 ${\sum }_{j=1}^{\infty }f({\bar{x}}_j)\le s$. 现取任一 $ϵ>0$, 则由 $s$ 的定义, 存在自然数 $n_{ϵ}$ 以及互不相同的正整数 $j(1),\dots ,j(n_{ϵ})$ 使得$$f({\bar{x}}_{j(1)})+\cdots +f({\bar{x}}_{j(n_{ϵ})})>s-ϵ.$$从而$$\sum _{j=1}^{\infty }f({\bar{x}}_j)\ge f({\bar{x}}_{j(1)})+\cdots +f({\bar{x}}_{j(n_{ϵ})})>s-ϵ.$$由 $ϵ>0$ 的任意性可得 ${\sum }_{j=1}^{\infty }f({\bar{x}}_j)\ge s$. 综上, 可得 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛且等于 $s$.

$\square$

现在我们开始证明定理 A.1.2. 为方便起见, 我们将指标集 $\mathcal{X}$ 与每个 ${\mathcal{X}}_i$ 均扩充为可数无限集, 并在扩充出来的指标 $x$ 上定义 $f(x)=0$. 不难看出这样的扩充不影响求和式的敛散性以及取值.

首先假设存在某个 $\iota \in \mathcal{I}$ 使得 ${\sum }_{x\in {\mathcal{X}}_{\iota }}f(x)$ 发散. 由引理 A.1.5 可得$$\begin{array}{rl}& \sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\\ \ge & \sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in {\mathcal{X}}_{\iota }\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\\ =& +\infty ,\end{array}$$从而 ${\sum }_{x\in \mathcal{X}}f(x)$ 发散.

接下来设每个 ${\sum }_{x\in {\mathcal{X}}_i}f(x)$ 均收敛但 ${\sum }_{i\in \mathcal{I}}s(i)$ 发散. 取 $M$ 为任意正实数, 则存在正整数 $m_1$ 以及 ${\iota }_1,\dots {\iota }_{m_1}\in \mathcal{I}$ 使得$$\sum _{k=1}^{m_1}s({\iota }_k)>M.$$再取 $ϵ=M/(2m_1)$, 由于每个 ${\sum }_{x\in {\mathcal{X}}_i}f(x)$ 均收敛, 根据引理 A.1.5, 存在正整数 $m_2$ 及如下各元素互不相同的矩阵: $$\left[\begin{array}{cccc}\tilde{x}({\iota }_1,1)& \tilde{x}({\iota }_1,2)& \cdots & \tilde{x}({\iota }_1,m_2)\\ \tilde{x}({\iota }_2,1)& \tilde{x}({\iota }_2,2)& \cdots & \tilde{x}({\iota }_2,m_2)\\ ⋮& ⋮& \ddots & ⋮\\ \tilde{x}({\iota }_{m_1},1)& \tilde{x}({\iota }_{m_1},2)& \cdots & \tilde{x}({\iota }_{m_1},m_2)\end{array}\right]\in {\mathcal{X}}^{m_1\times m_2},$$使得$$\sum _{\ell =1}^{m_2}f(\tilde{x}({\iota }_k,\ell ))>s({\iota }_k)-ϵ,\forall k=1,\dots ,m_1,$$从而有$$\begin{array}{rl}& \sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\\ \ge & \sum _{k=1}^{m_1}\sum _{\ell =1}^{m_2}f(\tilde{x}({\iota }_k,\ell ))>\sum _{k=1}^{m_1}(s({\iota }_k)-ϵ)=\sum _{k=1}^{m_1}s({\iota }_k)-\frac{M}{2}\\ >& \frac{M}{2}.\end{array}$$由 $M>0$ 的任意性可得上式左端为 $+\infty$, 再由引理 A.1.5 可知 ${\sum }_{x\in \mathcal{X}}f(x)$ 发散.

最后考虑每个 ${\sum }_{x\in {\mathcal{X}}_i}f(x)$ 以及 ${\sum }_{i\in \mathcal{I}}s(i)$ 均收敛的情况. 一方面, 对任意互不相同的 $x_1,\dots ,x_n\in \mathcal{X}$, 存在互不相同的 ${\iota }_1,\dots ,{\iota }_{\kappa }\in \mathcal{I}$, 使得对任意 $k=1,\dots ,\kappa$, 集合 ${\mathcal{Z}}_k={\mathcal{X}}_{{\iota }_k}\cap \{x_1,\dots ,x_n\}$ 为非空有限集, 且 ${\bigcup }_{k=1}^{\kappa }{\mathcal{Z}}_k=\{x_1,\dots ,x_n\}$, 从而$$\begin{array}{rl}\sum _{j=1}^{n}f(x_j)& =\sum _{k=1}^{\kappa }\sum _{x\in {\mathcal{Z}}_k}f(x)\le \sum _{k=1}^{\kappa }s({\iota }_k)\\ & \le \sup \left\{\sum _{k=1}^{n}s(i_k)|i_1,\dots ,i_k\in \mathcal{I}\text{且互不相同},k\in {\mathbb{N}}_{+}\right\}\\ & =\sum _{i\in \mathcal{I}}s(i).\end{array}$$由于 $x_1,\dots ,x_n\in \mathcal{X}$ 任意, 可得$$\begin{array}{rl}& \sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\le \sum _{i\in \mathcal{I}}s(i),\end{array}$$故 ${\sum }_{x\in \mathcal{X}}f(x)$ 收敛且小于等于 ${\sum }_{i\in \mathcal{I}}s(i)$. 另一方面, 记 $s={\sum }_{i\in \mathcal{I}}s(i)$, 并任取 $ϵ>0$, 则存在正整数 $m_1$ 以及互不相同的 ${\iota }_1,\dots ,{\iota }_{m_1}$ 使得$$\sum _{k=1}^{m_1}s({\iota }_k)>s-\frac{ϵ}{2}$$而由于每个 ${\sum }_{x\in {\mathcal{X}}_i}f(x)$ 均收敛, 可知存在正整数 $m_2$ 及各个元素互不相同的矩阵$$\left[\begin{array}{cccc}\tilde{x}({\iota }_1,1)& \tilde{x}({\iota }_1,2)& \cdots & \tilde{x}({\iota }_1,m_2)\\ \tilde{x}({\iota }_2,1)& \tilde{x}({\iota }_2,2)& \cdots & \tilde{x}({\iota }_2,m_2)\\ ⋮& ⋮& \ddots & ⋮\\ \tilde{x}({\iota }_{m_1},1)& \tilde{x}({\iota }_{m_1},2)& \cdots & \tilde{x}({\iota }_{m_1},m_2)\end{array}\right]\in {\mathcal{X}}^{m_1\times m_2},$$使得$$\sum _{\ell =1}^{m_2}f(\tilde{x}({\iota }_k,\ell ))>s({\iota }_k)-\frac{ϵ}{2m_1},\forall k=1,\dots ,m_1.$$从而$$\begin{array}{rl}& \sup \left\{\sum _{j=1}^{n}f(x_j)|x_1,\dots ,x_n\in \mathcal{X}\text{且互不相同},n\in {\mathbb{N}}_{+}\right\}\\ \ge & \sum _{k=1}^{m_1}\sum _{\ell =1}^{m_2}f(\tilde{x}({\iota }_k,\ell ))>\sum _{k=1}^{m_1}\left(s({\iota }_k)-\frac{ϵ}{2m_1}\right)=\sum _{k=1}^{m_1}s({\iota }_k)-\frac{ϵ}{2}\\ >& s-ϵ.\end{array}$$由 $ϵ>0$ 的任意性可得上式左端等于 $s$. 综合以上结果, 最终可得$$\sum _{x\in \mathcal{X}}f(x)=s=\sum _{i\in \mathcal{I}}s(i).$$

脚注

1.	^ 第二章注 2.2.2 中的求和式 (2.2.1) 即为式 (A.1.1) 的特殊情形. 此外, 注 2.2.2 中还给出了本讲义所采纳的一些简化记法, 这些简化记法对应的取值仍可最终归结于式 (A.1.1) 的取值.