A.3. 一些线性代数知识

定义 A.3.1. 给定实的方阵 $\mathbf{M}\in {\mathbb{R}}^{n\times n}$.

1.	我们称 $\mathbf{M}$ 是实对称的, 若 ${\mathbf{M}}^{\mathsf{T}}=\mathbf{M}$.
2.	我们称实对称矩阵 $\mathbf{M}$ 是正定的, 若对任意 $\mathbf{x}\in {\mathbb{R}}^n\backslash \{0\}$, 有 ${\mathbf{x}}^{\mathsf{T}}\mathbf{M}\mathbf{x}>0$.
3.	我们称 $\mathbf{M}$ 是实正交的, 若 ${\mathbf{Q}}^{\mathsf{T}}\mathbf{Q}=\mathbf{Q}{\mathbf{Q}}^{\mathsf{T}}={\mathbf{I}}_n$, 或等价地说, $\mathbf{Q}$ 的列向量构成了 ${\mathbb{R}}^n$ 的一组标准正交基.

以下定理是线性代数中有关实对称矩阵的经典结果, 相关论述可参考 [32] 第 6.4 节或 [33] 第 7.1 节.

定理 A.3.2. 设 $\mathbf{M}\in {\mathbb{R}}^{n\times n}$ 为一实对称阵, 则存在一组 ${\mathbb{R}}^n$ 的标准正交基 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\}$, 使得每个 ${\mathbf{v}}_i$ 均为 $\mathbf{M}$ 的特征向量; 或等价地说, 存在一实正交矩阵 $\mathbf{Q}\in {\mathbb{R}}^{n\times n}$, 使得 ${\mathbf{Q}}^{\mathsf{T}}\mathbf{MQ}$ 为一对角阵, 其对角元给出 $\mathbf{M}$ 的所有特征值.

下面的定理则给出了正定矩阵的一种判别方法.

定理 A.3.3. 设 $\mathbf{M}\in {\mathbb{R}}^{n\times n}$ 为一实对称阵. 则 $\mathbf{M}$ 是正定阵当且仅当 $\mathbf{M}$ 的所有特征值均为正数.

证明. 对 $\mathbf{M}$ 做特征值分解: $$\mathbf{M}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathsf{T}},\mathbf{\Lambda }=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right],$$其中 $\mathbf{Q}$ 为实正交阵, ${\lambda }_1,\dots ,{\lambda }_n$ 给出 $\mathbf{M}$ 的所有特征值. 任取 $\mathbf{x}\in {\mathbb{R}}^n\backslash \{0\}$, 并令 $\mathbf{y}={\mathbf{Q}}^{\mathsf{T}}\mathbf{x}$, 则有$${\mathbf{x}}^{\mathsf{T}}\mathbf{M}\mathbf{x}=({\mathbf{Q}}^{\mathsf{T}}\mathbf{x}{)}^{\mathsf{T}}\mathbf{M}({\mathbf{Q}}^{\mathsf{T}}\mathbf{x})={\mathbf{y}}^{\mathsf{T}}\mathbf{\Lambda }\mathbf{y}=\sum _{i=1}^n{\lambda }_i{y}_i^2,$$且 $\mathbf{y}\ne 0$ (否则 $\mathbf{x}=\mathbf{Q}\mathbf{y}=0$). 若 $\mathbf{M}$ 的所有特征值均为正数, 则显然有 ${\mathbf{x}}^{\mathsf{T}}\mathbf{M}\mathbf{x}={\sum }_{i=1}^n{\lambda }_i{y}_i^2>0$, 再由 $\mathbf{x}\in {\mathbb{R}}^n\backslash \{0\}$ 的任意性可得 $\mathbf{M}$ 正定; 反之, 若存在某个特征值 ${\lambda }_j\le 0$, 则令 $\mathbf{y}$ 的第 $j$ 个分量为 $1$ 而其余分量为 $0$, 再令 $\mathbf{x}={\mathbf{Q}}^{\mathsf{T}}\mathbf{y}$, 则 $\mathbf{x}$ 为非零向量, 且 ${\mathbf{x}}^{\mathsf{T}}\mathbf{M}\mathbf{x}={\lambda }_j{y}_j^2\le 0$, 从而 $\mathbf{M}$ 不是正定阵.

$\square$

以下命题给出了正定矩阵的一些有用的性质.

命题 A.3.4. 设 $\mathbf{M}=(m_{ij})\in {\mathbb{R}}^{n\times n}$ 为一正定阵, 则

1.	$\mathbf{M}$ 可逆, 且 ${\mathbf{M}}^{-1}$ 也是正定矩阵.
2.	对任意列满秩的矩阵 $\mathbf{P}$, 矩阵 ${\mathbf{P}}^{\mathsf{T}}\mathbf{MP}$ 正定. 特别地, 任取 $\{1,\dots ,n\}$ 的非空子集 $J$, 则由所有满足 $i\in J,j\in J$ 的 $m_{ij}$ 排成的 $\mathbf{M}$ 的子矩阵为正定阵.

证明.

1.

对 $\mathbf{M}$ 做特征值分解: $$\mathbf{M}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathsf{T}},\mathbf{\Lambda }=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right],$$其中 $\mathbf{Q}$ 为实正交阵, ${\lambda }_1,\dots ,{\lambda }_n$ 给出 $\mathbf{M}$ 的所有特征值. 由于 $\mathbf{M}$ 正定, 可得 ${\lambda }_i>0,\forall i=1,\dots ,n$, 故$${\mathbf{\Lambda }}^{-1}=\left[\begin{array}{ccc}{\lambda }_1^{-1}& & \\ & \ddots & \\ & & {\lambda }_n^{-1}\end{array}\right],$$从而$${\mathbf{M}}^{-1}={\left(\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathsf{T}}\right)}^{-1}=\mathbf{Q}{\mathbf{\Lambda }}^{-1}{\mathbf{Q}}^{\mathsf{T}}.$$从上式可进一步看出 ${\lambda }_1^{-1},\dots ,{\lambda }_n^{-1}$ 给出 $\mathbf{M}$ 的所有特征值, 而 ${\lambda }_i^{-1}>0,\forall i=1,\dots ,n$, 故 ${\mathbf{M}}^{-1}$ 正定.

2.

任取 $\mathbf{x}\in {\mathbb{R}}^n\backslash \{0\}$, 并令 $\mathbf{y}=\mathbf{P}\mathbf{x}$. 由于 $\mathbf{P}$ 列满秩, 可得 $\mathbf{y}\ne 0$ (否则 $\mathbf{P}\mathbf{x}=0$ 意味着 $\mathbf{P}$ 的列向量的某个线性组合等于 $0$), 再由 $\mathbf{M}$ 的正定性可得$${\mathbf{x}}^{\mathsf{T}}{\mathbf{P}}^{\mathsf{T}}\mathbf{MP}\mathbf{x}={\mathbf{y}}^{\mathsf{T}}\mathbf{M}\mathbf{y}>0.$$最后由 $\mathbf{x}\in {\mathbb{R}}^n\backslash \{0\}$ 的任意性可得 ${\mathbf{P}}^{\mathsf{T}}\mathbf{MP}$ 为正定阵. 特别地, 对任意非空的 $J\subseteq \{1,\dots ,n\}$, 令 $m$ 为 $J$ 的元素个数, 并令 $\mathbf{P}\in {\mathbb{R}}^{n\times m}$ 为 ${\mathbf{e}}_j,j\in J$ 按 $j$ 的大小次序从左到右排成的矩阵, 则 $\mathbf{P}$ 列满秩, 且 ${\mathbf{P}}^{\mathsf{T}}\mathbf{MP}$ 即为所有 $m_{ij}$ ($i\in J,j\in J$) 排成的 $\mathbf{M}$ 的子矩阵. 由之前的结果可知该子矩阵正定. $\square$

最后, 我们介绍矩阵的奇异值分解 (singular value decomposition).

定理 A.3.5. 设 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$, $\mathbf{A}$ 的秩为 $r$. 则存在向量 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_r\in {\mathbb{R}}^m$, ${\mathbf{v}}_1,\dots ,{\mathbf{v}}_r\in {\mathbb{R}}^n$ 以及正实数 ${\sigma }_1,\dots ,{\sigma }_r$, 使得

1.	${\mathbf{u}}_1,\dots ,{\mathbf{u}}_r$ 相互正交, 且 ${\mathbf{u}}_i^{\mathsf{T}}{\mathbf{u}}_i=1,\forall i=1,\dots ,r$.
2.	${\mathbf{v}}_1,\dots ,{\mathbf{v}}_r$ 相互正交, 且 ${\mathbf{v}}_i^{\mathsf{T}}{\mathbf{v}}_i=1,\forall i=1,\dots ,r$.
3.	${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 为矩阵 ${\mathbf{A}}^{\mathsf{T}}\mathbf{A}$ 的 $r$ 个不为零的特征值, 同时也是 $\mathbf{A}{\mathbf{A}}^{\mathsf{T}}$ 的 $r$ 个不为零的特征值.
4.	矩阵 $\mathbf{A}$ 可分解为$$\mathbf{A}=\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^{\mathsf{T}}$$(A.3.1)

定理 A.3.5 的证明可参考 [33] 第 7.4 节. 我们将式 (A.3.1) 的右端称为矩阵 $\mathbf{A}$ 的奇异值分解, 而将 ${\sigma }_1,\dots ,{\sigma }_r$ 称为 $\mathbf{A}$ 的奇异值 (singular value). 注意矩阵的奇异值分解并不要求矩阵是方阵. 矩阵的奇异值分解还可以有其它表示形式, 例如

•

式 (A.3.1) 可等价写为$$\mathbf{A}={\mathbf{U}}_{\mathrm{c}}{\mathbf{\Sigma }}_{\mathrm{c}}{\mathbf{V}}_{\mathrm{c}}^{\mathsf{T}},$$(A.3.2)其中 ${\mathbf{U}}_{\mathrm{c}}\in {\mathbb{R}}^{m\times r}$ 的各个列向量分别为 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_r$, ${\mathbf{V}}_{\mathrm{c}}\in {\mathbb{R}}^{n\times r}$ 的各个列向量分别为 ${\mathbf{v}}_1,\dots ,{\mathbf{v}}_r$, 而 ${\mathbf{\Sigma }}_{\mathrm{c}}$ 则为一对角阵, 其对角元为 ${\sigma }_1,\dots ,{\sigma }_r$.

•

矩阵 $\mathbf{A}$ 的奇异值分解还可写为$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathsf{T}},$$(A.3.3)其中 $\mathbf{U}\in {\mathbb{R}}^{m\times m},\mathbf{V}\in {\mathbb{R}}^{n\times n}$ 为实正交阵, 而$$\mathbf{\Sigma }=\left[\begin{array}{cc}{\mathbf{\Sigma }}_{\mathrm{c}}& 0_{r\times (n-r)}\\ 0_{(m-r)\times r}& 0_{(m-r)\times (n-r)}\end{array}\right],{\mathbf{\Sigma }}_{\mathrm{c}}=\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]\in {\mathbb{R}}^{r\times r}.$$