5.4. 正交相似与奇异值分解

正交相似

定义 5.4.1. 设 $A$ 和 $B$ 是两个 $n$ 阶实方阵. 如果存在一个 $n$ 阶正交矩阵 $Q$, 使得$$B=QA{Q}^{-1}$$则称矩阵 $A$ 和 $B$ 正交相似. 由于 $Q$ 是正交方阵, 此时也可以写成 $B=QA{Q}^T$.

正交相似是比相似更强的关系. 如果两个矩阵正交相似, 则它们一定相似; 但反之则不一定成立.

例子 5.4.2. 考虑如下两个矩阵$$A=\left[\begin{array}{cc}1& 0\\ 0& 2\end{array}\right]B=\left[\begin{array}{cc}1& 1\\ 0& 2\end{array}\right]$$由于 $B$ 有两个不同的特征值 $1,2$, $B$ 可以对角化为 $A$, 因此 $A$ 与 $B$ 相似.

然而 $A$ 与 $B$ 不是正交相似的. 假如存在正交方阵 $Q$ 使得 $B=QA{Q}^{-1}$. 由 $Q$ 是正交方阵, $Q^{-1}=Q^T$, 我们也可以写成 $B=QA{Q}^T$. 因此$$B^T=(QA{Q}^T{)}^T=Q{A}^T{Q}^T=QA{Q}^T=B$$由此得出 $B$ 是对称方阵, 矛盾.

命题 5.4.3. 设 $A$ 是 $n$ 阶实方阵, 且所有特征值均为实数. 则 $A$ 正交相似于一个上三角方阵.

证明: 我们对 $n$ 作归纳. 设 ${\lambda }_1$ 是 $A$ 的一个特征值. 由假设 ${\lambda }_1\in \mathbb{R}$, 设 ${\vec{\beta }}_1\in {\mathbb{R}}^n$ 是属于 ${\lambda }_1$ 的一个特征向量. 不妨设 $\Vert {\vec{\beta }}_1\Vert =1$. 通过 Gram-Schmidts 正交化, 我们可以把 ${\vec{\beta }}_1$ 延拓为 ${\mathbb{R}}^n$ 的一组标准正交基 $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n\}$. 把这组列向量组成 $n$ 阶方阵$$P=\left[\begin{array}{ccc}{\vec{\beta }}_1& \cdots & {\vec{\beta }}_n\end{array}\right]$$

由于 $\{{\vec{\beta }}_1,\cdots ,\cdots ,{\vec{\beta }}_n\}$ 是标准正交基, $P$ 是正交方阵. 由 ${\vec{\beta }}_1$ 是特征向量, 有$$AP=P\left[\begin{array}{cc}{\lambda }_1& \ast \\ 0& B\end{array}\right]$$这里 $B$ 是 $n-1$ 阶方阵. 由于 $A$ 与 $\left[\begin{array}{cc}{\lambda }_1& \ast \\ 0& B\end{array}\right]$ 相似, $B$ 的特征值均为 $A$ 的特征值故为实数. 由归纳假设, 存在 $n-1$ 阶正交方阵 $Q$ 使得$$B=Q\left[\begin{array}{cccc}{\lambda }_2& \ast & \cdots & \ast \\ 0& {\lambda }_3& \cdots & \ast \\ 0& \cdots & \cdots & \ast \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]Q^{-1}$$

因此$$A=P\left[\begin{array}{cc}1& 0\\ 0& Q\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& \ast & \cdots & \ast \\ 0& {\lambda }_2& \cdots & \ast \\ 0& \cdots & \cdots & \ast \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& Q^{-1}\end{array}\right]P^{-1}$$$P\left[\begin{array}{cc}1& 0\\ 0& Q\end{array}\right]$ 是正交方阵, 由归纳知命题成立.

$\square$

实对称方阵

命题 5.4.4. 设 $A$ 是实对称方阵, 即 $A=A^T$. 则 $A$ 的特征值都是实数.

证明: 设 ${\lambda }_0$ 是 $A$ 的特征值. 设复列向量 $\vec{\beta }\in {\mathbb{C}}^n$ 是属于 ${\lambda }_0$ 的特征向量, 即 $A\vec{\beta }={\lambda }_0\vec{\beta }$. 设$$\vec{\beta }=\left[\begin{array}{c}{z}_1\\ \cdots \\ z_n\end{array}\right]$$则特征向量说明$$\sum _j{A}_{ij}{z}_j={\lambda }_0{z}_i$$

两边乘以 ${\bar{z}}_i$ 相加, 得到$$\sum _{ij}{A}_{ij}{\bar{z}}_i{z}_j={\lambda }_0\sum _i|z_i{|}^2$$由于 $A$ 是对称实方阵, $A_{ij}=A_{ji}$$$\overline{\sum _{ij}{A}_{ij}{\bar{z}}_i{z}_j}=\sum _{ij}{A}_{ij}{z}_i{\bar{z}}_j=\sum _{ij}{A}_{ji}{\bar{z}}_j{z}_i$$因此 $\sum _{ij}{A}_{ij}{\bar{z}}_i{z}_j$ 是实数. 故 ${\lambda }_0=\frac{\sum _{ij}{A}_{ij}{\bar{z}}_i{z}_j}{\sum _i|z_i{|}^2}$ 是实数.

$\square$

命题 5.4.5. 设 $A$ 是实对称方阵, 则 $A$ 正交相似于对角阵.

证明: 由命题 5.4.4 知 $A$ 的特征值均为实数. 由命题 5.4.3 知存在正交方阵 $P$ 使得 $B=PA{P}^{-1}$ 是上三角方阵. 由$$B^T=(PA{P}^{-1}{)}^T=(PA{P}^T{)}^T=P{A}^T{P}^T=PA{P}^T=B$$知 $B$ 也是对称方阵, 因此 $B$ 是对角方阵.

$\square$

命题 5.4.6. 实对称方阵 $A$ 是正定方阵当且仅当 $A$ 的每个特征值均大于零.

证明: 由 $A$ 是实对称方阵, 存在正交方阵 $P$ 使得

$$A=P^{-1}\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]P$$这里 ${\lambda }_1,\cdots ,{\lambda }_n$ 为 $A$ 的所有特征值. 对任意向量 $\vec{x}\in {\mathbb{R}}^n$, 令 $\vec{y}=P\vec{x}$. 则

$${\vec{x}}^{T}A\vec{x}={\vec{y}}^{T}PA{P}^{-1}\vec{y}={\vec{y}}^T\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]\vec{y}=\sum _{i=1}^n{\lambda }_i{y}_i^2$$由此易知 ${\vec{x}}^{T}A\vec{x}>0$ 对任意非零向量 $\vec{x}$ 成立当且仅当每个特征值 ${\lambda }_i>0$.

$\square$

定义 5.4.7. 一个 $n$ 阶实对称方阵 $A$ 称为半正定矩阵, 如果对任意列向量 $\vec{x}\in {\mathbb{R}}^n$, 都有$${\vec{x}}^{T}A\vec{x}\ge 0\text{即}\sum _{i,j=1}^n{A}_{ij}{x}_i{x}_j\ge 0$$

类似的方法可以证明

命题 5.4.8. 实对称方阵 $A$ 是半正定方阵当且仅当 $A$ 的每个特征值均非负.

命题 5.4.9. 设 $A$ 是 $n$ 阶半正定对称方阵. 则存在唯一的半正定对称方阵 $B$ 使得 $A=B^2$.

证明: 设 $A$ 的特征值为 ${\lambda }_1\ge \cdots \ge {\lambda }_n\ge 0$. 存在正交方阵 $P$ 使得

$$A=P^{-1}\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]P$$

取$$B=P^{-1}\left[\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \sqrt{{\lambda }_n}\end{array}\right]P$$则 $B$ 是半正定对称方阵且 $B^2=A$ 成立. 下证唯一性.

假设有两个半正定对称方阵 $B,\tilde{B}$ 使得$$B^2={\tilde{B}}^2=A$$设 $B$ 和 $\tilde{B}$ 的特征值分别为 ${\mu }_1\ge \cdots \ge {\mu }_n\ge 0$ 和 ${\tilde{\mu }}_1\ge \cdots \ge {\tilde{\mu }}_n\ge 0$. 存在正交方阵 $P,\tilde{P}$ 使得

$$B=P^{-1}\left[\begin{array}{cccc}{\mu }_1& 0& \cdots & 0\\ 0& {\mu }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\mu }_n\end{array}\right]P\tilde{B}={\tilde{P}}^{-1}\left[\begin{array}{cccc}{\tilde{\mu }}_1& 0& \cdots & 0\\ 0& {\tilde{\mu }}_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\tilde{\mu }}_n\end{array}\right]\tilde{P}$$

因此 $B^2=A$ 的特征值为 ${\mu }_1^2\ge \cdots \ge {\mu }_n^2\ge 0$, 故 ${\mu }_i=\sqrt{{\lambda }_i}$. 同理 ${\tilde{\mu }}_i=\sqrt{{\lambda }_i}$, 即 $B$ 与 $\tilde{B}$ 的特征值相同. 由 $B^2={\tilde{B}}^2=A$ 知

$$\begin{array}{r}{P}^{-1}\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]P={\tilde{P}}^{-1}\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]\tilde{P}\end{array}$$

令 $Q=\tilde{P}{P}^{-1}$, 其为正交方阵. 则

$$\begin{array}{r}Q\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\lambda }_n\end{array}\right]Q\end{array}$$这个等式写成矩阵元 $Q=(Q_{ij})$ 的形式为$$Q_{ij}({\lambda }_i-{\lambda }_j)=0i,j=1,\cdots ,n$$

无论对 ${\lambda }_i$ 是否等于 ${\lambda }_j$, 我们均有$$Q_{ij}(\sqrt{{\lambda }_i}-\sqrt{{\lambda }_j})=0i,j=1,\cdots ,n$$转化为矩阵形式, 我们得到$$\begin{array}{r}Q\left[\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \sqrt{{\lambda }_n}\end{array}\right]=\left[\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \sqrt{{\lambda }_n}\end{array}\right]Q\end{array}$$

带回 $Q=\tilde{P}{P}^{-1}$, 即得$$\begin{array}{r}B=P^{-1}\left[\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \sqrt{{\lambda }_n}\end{array}\right]P={\tilde{P}}^{-1}\left[\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \sqrt{{\lambda }_n}\end{array}\right]\tilde{P}=\tilde{B}\end{array}$$

$\square$

由命题 5.4.9 知对于半正定对称方阵 $A$, 我们有唯一确定的半正定对称方阵 $B$ 使得 $B^2=A$ 成立. 我们把这个半正定对称方阵记作 $\sqrt{A}$, 其满足$$(\sqrt{A}{)}^2=A$$$\sqrt{A}$ 称为 $A$ 的平方根. 类似的方法可以证明, 存在唯一的开 $k$ 次方的半正定对称方阵 $\sqrt[k]{A}$.

奇异值分解

设 $A$ 是 $m\times n$ 实矩阵. 考虑 $n$ 阶矩阵 $A^{T}A$. 对于任意 $\vec{x}\in {\mathbb{R}}^n$$${\vec{x}}^T(A^{T}A)\vec{x}=(A\vec{x}{)}^T(A\vec{x})\ge 0$$因此 $A^{T}A$ 是 $n$ 阶半正定对称方阵. 同理, $A{A}^T$ 是 $m$ 阶半正定对称方阵.

由第三章习题 9 知$${\lambda }^m\det (\lambda I_n-A^{T}A)={\lambda }^n\det (\lambda I_m-A{A}^T)$$这说明 $A^{T}A$ 和 $A{A}^T$ 具有相同的非零特征值.

定义 5.4.10. 设 $A$ 是 $m\times n$ 实矩阵. 则 $n$ 阶半正定对称方阵 $A^{T}A$ (或 $A{A}^T$) 的非零特征值的平方根称为 $A$ 的奇异值.

设 $A^{T}A$ 的所有非零特征值为 ${\mu }_1,\cdots ,{\mu }_r$, 则 $A$ 的所有奇异值为 $\sqrt{{\mu }_1},\cdots ,\sqrt{{\mu }_r}$.

命题 5.4.11. 设 $A$ 是 $n$ 阶实对称方阵. 则 $A$ 的所有奇异值为所有非零特征值的绝对值.

证明: 设 $A$ 的所有特征值为 ${\lambda }_1,\cdots ,{\lambda }_n$. 由命题 5.4.5 知 $A$ 可对角化. 由此易知 $A^{T}A=A^2$ 的特征值为 ${\lambda }_1^2,\cdots ,{\lambda }_n^2$. 由此即得命题.

$\square$

例子 5.4.12. 考虑方阵 $A=\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]$. $$A^{T}A=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]$$$A^{T}A$ 的特征多项式为 $\left|\begin{array}{cc}\lambda -1& -1\\ -1& \lambda -2\end{array}\right|={\lambda }^2-3\lambda +1$, 解得 $A^{T}A$ 的两个特征值为 $\frac{3\pm \sqrt{5}}{2}$. 故 $A$ 有两个奇异值$$\sqrt{\frac{3\pm \sqrt{5}}{2}}$$而 $A$ 的两个特征值均为 $1$. 因此当方阵 $A$ 不对称时候, 奇异值和特征值的绝对值并不一样.

定理 5.4.13 (奇异值分解). 设 ${\sigma }_1\ge \cdots \ge {\sigma }_r>0$ 是 $m\times n$ 阶实矩阵 $A$ 的所有奇异值. 则存在 $m$ 阶正交方阵 $U$ 和 $n$ 阶正交方阵 $V$ 使得 $A=U\Sigma V^T$, 其中$$\Sigma =\left[\begin{array}{cc}\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\sigma }_r\end{array}\right]& 0_{r\times (n-r)}\\ 0_{(m-r)\times r}& 0_{(m-r)\times (n-r)}\end{array}\right]$$这里 $0_{k\times l}$ 表示 $k\times l$ 的零矩阵.

证明: 由奇异值的定义, 存在 $n$ 阶正交方阵 $V$ 使得$$V^T{A}^{T}AV=\mathrm{diag}({\sigma }_1^2,\cdots ,{\sigma }_r^2,0,\cdots ,0)$$把 $AV=\left[\begin{array}{ccc}{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_n\end{array}\right]$ 写成 ${\mathbb{R}}^m$ 中列向量, 则$$\begin{array}{r}{V}^T{A}^{T}AV=(AV{)}^T(AV)=\left[\begin{array}{c}{\vec{\alpha }}_1^T\\ ⋮\\ {\vec{\alpha }}_n^T\end{array}\right]\left[\begin{array}{ccc}{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_n\end{array}\right]=\left[\begin{array}{ccc}{\vec{\alpha }}_1^T{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_1^T{\vec{\alpha }}_n\\ \cdots & \cdots & \cdots \\ {\vec{\alpha }}_n^T{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_n^T\overrightarrow{{\alpha }_n}\end{array}\right]\end{array}$$

对 $i>r$, 我们有$$\begin{array}{r}{\vec{\alpha }}_i^T{\vec{\alpha }}_i=0⟹{\vec{\alpha }}_i=0\end{array}$$对 $1\le i,j\le r$, $${\vec{\alpha }}_i^T{\vec{\alpha }}_j={\delta }_{ij}{\sigma }_i^2$$

记 ${\vec{\beta }}_1={\sigma }_1^{-1}{\vec{\alpha }}_1,\cdots ,{\vec{\beta }}_r={\sigma }_r^{-1}{\vec{\alpha }}_r$. 则 $\{{\vec{\beta }}_i\}$ 两两正交且长度均为 $1$. 我们把它们扩展为 ${\mathbb{R}}^m$ 中的一组标准正交基 $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_r,{\vec{\beta }}_{r+1},\cdots ,{\vec{\beta }}_m\}$. 则$$\begin{array}{rl}AV=& \left[\begin{array}{ccccc}{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_r& 0\cdots & 0\end{array}\right]\\ =& \left[\begin{array}{ccccc}{\sigma }_1{\vec{\beta }}_1& \cdots & {\sigma }_r{\vec{\beta }}_r& 0\cdots & 0\end{array}\right]\\ =& \left[\begin{array}{ccccc}{\vec{\beta }}_1& \cdots & {\vec{\beta }}_r& {\vec{\beta }}_{r+1}\cdots & {\vec{\beta }}_m\end{array}\right]\left[\begin{array}{cc}\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& {\sigma }_r\end{array}\right]& 0_{r\times (n-r)}\\ 0_{(m-r)\times r}& 0_{(m-r)\times (n-r)}\end{array}\right]\end{array}$$令 $U=\left[\begin{array}{ccccc}{\vec{\beta }}_1& \cdots & {\vec{\beta }}_r& {\vec{\beta }}_{r+1}\cdots & {\vec{\beta }}_m\end{array}\right]$, 则 $U$ 是 $m$ 阶正交方阵. 上述等式即得奇异值分解.

$\square$