5.2. 正交基与正交化

设 $(V,⟨\cdot ,\cdot ⟩)$ 是一个 $n$ 维欧几里得空间. 这一节我们说明可以在 $V$ 中找一组方便的基, 使得在这组基下 $V$ 上的几何结构与 $n$ 维标准欧几里得空间 ${\mathbb{R}}^n$ 一样. 这样我们可以把对一般的 $n$ 维欧几里得空间的讨论约化到标准欧几里得空间 ${\mathbb{R}}^n$.

Gram–Schmidt 正交化

命题 5.2.1. 设 $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_m\}$ 是欧几里得空间 $V$ 中 $m$ 个两两正交的非零向量, 即$$⟨{\vec{\alpha }}_i,{\vec{\alpha }}_j⟩=0i\ne j,i,j=1,\cdots ,m$$则 $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_m\}$ 线性无关.

证明: 设 $\vec{\beta }=c_1{\vec{\alpha }}_1+\cdots +c_m{\vec{\alpha }}_m=0$, 则对 $i=1,\cdots ,m$$$0=⟨{\vec{\alpha }}_i,\beta ⟩=c_i⟨{\vec{\alpha }}_i,{\vec{\alpha }}_i⟩⟹c_i=0$$因此 $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_m\}$ 线性无关.

$\square$

这个命题说明, 在 $n$ 维欧几里得空间中两两正交的非零向量组最多包含 $n$ 个向量.

定义 5.2.2. 欧几里得空间 $V$ 的一组基如果由两两正交的向量构成, 则称这组基为正交基.

下面这个命题给出了具体构造正交基的方法.

命题 5.2.3 (Gram–Schmidt 正交化). 设 $(V,⟨\cdot ,\cdot ⟩)$ 是 $n$ 维欧几里得空间, $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_n\}$ 是 $V$ 的一组基. 则存在一组正交基 $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n\}$, 使得从基 $\{{\vec{\alpha }}_i\}$ 到 $\{{\vec{\beta }}_i\}$ 的过渡矩阵 $P$ 是上三角矩阵$$\begin{array}{r}\left[\begin{array}{cccc}{\vec{\beta }}_1& {\vec{\beta }}_2& \cdots & {\vec{\beta }}_n\end{array}\right]=\left[\begin{array}{cccc}{\vec{\alpha }}_1& {\vec{\alpha }}_2& \cdots & {\vec{\alpha }}_n\end{array}\right]P\end{array}$$

证明: 我们依次构造 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n$ 使得对任意 $k$$$\mathrm{Span}\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_k\}=\mathrm{Span}\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_k\}$$

首先对 $k=1$, 我们取 ${\vec{\beta }}_1={\vec{\alpha }}_1$, 显然满足$$\mathrm{Span}\{{\vec{\alpha }}_1\}=\mathrm{Span}\{{\vec{\beta }}_1\}$$

假设我们已构造了两两正交的 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1}$ 使得$$\mathrm{Span}\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_{k-1}\}=\mathrm{Span}\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1}\}$$我们下面构造 ${\vec{\beta }}_k={\vec{\alpha }}_k+c_1{\vec{\beta }}_1+\cdots +c_{k-1}{\vec{\beta }}_{k-1}$ 使得 ${\vec{\beta }}_k$ 与 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1}$ 正交, 这里系数 $c_i$ 待定.

由归纳假设, 向量 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1}$ 两两正交. 对 $i=1,\cdots ,k-1$, 要求正交性$$\begin{array}{rl}⟨{\vec{\beta }}_k,{\vec{\beta }}_i⟩=& ⟨{\vec{\alpha }}_k+c_1{\vec{\beta }}_1+\cdots +c_{k-1}{\vec{\beta }}_{k-1},{\vec{\beta }}_i⟩\\ =& ⟨{\vec{\alpha }}_k,{\vec{\beta }}_i⟩+c_i⟨{\vec{\beta }}_i,{\vec{\beta }}_i⟩=0\end{array}$$可以解出系数$$c_i=-\frac{⟨{\vec{\alpha }}_k,{\vec{\beta }}_i⟩}{⟨{\vec{\beta }}_i,{\vec{\beta }}_i⟩}$$

因此我们可以具体写下 ${\vec{\beta }}_k$ 为$${\vec{\beta }}_k={\vec{\alpha }}_k-\sum _{i=1}^{k-1}\frac{⟨{\vec{\alpha }}_k,{\vec{\beta }}_i⟩}{⟨{\vec{\beta }}_i,{\vec{\beta }}_i⟩}{\vec{\beta }}_i$$由构造, $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_k\}$ 是两两正交的向量, 且$$\begin{array}{r}\mathrm{Span}\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_{k-1},{\vec{\alpha }}_k\}=\mathrm{Span}\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1},{\vec{\alpha }}_k\}=\mathrm{Span}\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_{k-1},{\vec{\beta }}_k\}\end{array}$$

由此我们依次构造了两两正交的向量 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n$ 使得对任意的 $k$, $${\vec{\beta }}_k\in \mathrm{Span}\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_k\}$$写成矩阵的形式, $$\left[\begin{array}{ccc}{\vec{\beta }}_1& \cdots & {\vec{\beta }}_n\end{array}\right]=\left[\begin{array}{ccc}{\vec{\alpha }}_1& \cdots & {\vec{\alpha }}_n\end{array}\right]\left[\begin{array}{cccc}\ast & \ast & \cdots & \ast \\ 0& \ast & \cdots & \ast \\ \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & 0& \ast \end{array}\right]$$即过渡矩阵是上三角矩阵.

$\square$

命题证明中由欧几里得空间中的任一组基 $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_n\}$ 得到正交基 $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n\}$ 的过程$${\vec{\beta }}_k={\vec{\alpha }}_k-\sum _{i=1}^{k-1}\frac{⟨{\vec{\alpha }}_k,{\vec{\beta }}_i⟩}{⟨{\vec{\beta }}_i,{\vec{\beta }}_i⟩}{\vec{\beta }}_{i}k=1,\cdots ,n$$称为 Gram–Schmidt 正交化.

定义 5.2.4. $n$ 维欧几里得空间 $V$ 的一组基 $\{{\vec{\gamma }}_1,\cdots ,{\vec{\gamma }}_n\}$ 称为是标准正交基, 如果它们两两正交并且长度为 $1$$$\Vert {\vec{\gamma }}_i\Vert =1i=1,\cdots ,n$$

命题 5.2.5. $n$ 维欧几里得空间 $V$ 存在标准正交基.

证明: 设 $\{{\vec{\alpha }}_1,\cdots ,{\vec{\alpha }}_n\}$ 是 $V$ 的任一组基. 由 Gram–Schmidt 正交化, 我们得到一组正交基 $\{{\vec{\beta }}_1,\cdots ,{\vec{\beta }}_n\}$. 通过归一化定义$${\vec{\gamma }}_i=\frac{{\vec{\beta }}_i}{\Vert {\vec{\beta }}_i\Vert }i=1,\cdots ,n$$则 $\{{\vec{\gamma }}_1,\cdots ,{\vec{\gamma }}_n\}$ 是一组标准正交基.

$\square$

设 $\{{\vec{\gamma }}_1,\cdots ,{\vec{\gamma }}_n\}$ 是 $V$ 的标准正交基, 则其对应的 Gram 矩阵为$$G_{ij}=⟨{\vec{\gamma }}_i,{\vec{\gamma }}_j⟩={\delta }_{ij}$$即 $G=I_n$ 是单位矩阵. 对于任意两个向量 $\vec{x}=\sum _{i=1}^n{x}_i{\vec{\gamma }}_i$ 和 $\vec{y}=\sum _{i=1}^n{y}_i{\vec{\gamma }}_i$, 我们有

$$⟨\vec{x},\vec{y}⟩=\sum _{i=1}^n{x}_i{y}_i$$因此在标准正交基展开的坐标下, 向量的内积公式和标准欧几里得空间一样.

例子 5.2.6. 考虑标准欧几里得空间 ${\mathbb{R}}^3$ 的一组基$${\vec{\alpha }}_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]{\vec{\alpha }}_2=\left[\begin{array}{c}0\\ 1\\ 1\end{array}\right]{\vec{\alpha }}_3=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$这组基不是正交基. 我们对这组基作 Gram-Schmidt 正交化. 依次有$${\vec{\beta }}_1={\vec{\alpha }}_1$$$${\vec{\beta }}_2={\vec{\alpha }}_2-\frac{⟨{\vec{\alpha }}_2,{\vec{\beta }}_1⟩}{⟨{\vec{\beta }}_1,{\vec{\beta }}_1⟩}{\vec{\beta }}_1=\left[\begin{array}{c}0\\ 1\\ 1\end{array}\right]-\frac{2}{3}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}-2/3\\ 1/3\\ 1/3\end{array}\right]$$$$\begin{array}{rl}{\vec{\beta }}_3=& {\vec{\alpha }}_3-\frac{⟨{\vec{\alpha }}_3,{\vec{\beta }}_1⟩}{⟨{\vec{\beta }}_1,{\vec{\beta }}_1⟩}{\vec{\beta }}_1-\frac{⟨{\vec{\alpha }}_3,{\vec{\beta }}_2⟩}{⟨{\vec{\beta }}_2,{\vec{\beta }}_2⟩}{\vec{\beta }}_2\\ =& \left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]-\frac{1}{3}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\frac{1/3}{2/3}\left[\begin{array}{c}-2/3\\ 1/3\\ 1/3\end{array}\right]=\left[\begin{array}{c}0\\ -1/2\\ 1/2\end{array}\right]\end{array}$$

进一步作归一化, 我们得到标准正交基$${\vec{\gamma }}_1=\left[\begin{array}{c}1/\sqrt{3}\\ 1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right]{\vec{\gamma }}_2=\left[\begin{array}{c}-2/\sqrt{6}\\ 1/\sqrt{6}\\ 1/\sqrt{6}\end{array}\right]{\vec{\gamma }}_3=\left[\begin{array}{c}0\\ -1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$$这组标准正交基与 ${\mathbb{R}}^3$ 的标准基 $\{{\vec{e}}_1,{\vec{e}}_2,{\vec{e}}_3\}$ 是不一样的. 这个例子也说明标准正交基并不唯一.

正交投影

定义 5.2.7. 设 $(V,⟨\cdot ,\cdot ⟩)$ 是一个 $n$ 维欧几里得空间, $U\subset V$ 是线性子空间. 我们定义 $U$ 在 $V$ 中的正交补空间为$$U^{\perp }:=\{\vec{\alpha }\in V|⟨\vec{\alpha },\vec{\beta }⟩=0\text{对U中任意向量β成立}\}$$即 $\vec{\alpha }\in U^{\perp }$ 如果 $\vec{\alpha }$ 与 $U$ 中的任意向量都正交.

我们选 $U$ 中的一组基 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_m$, 则 $\vec{\alpha }\in U^{\perp }$ 当且仅当 $\vec{\alpha }$ 与这组基向量正交$$⟨\vec{\alpha },{\vec{\beta }}_i⟩=0i=1,\cdots ,m$$如果上式满足, 则对于 $U$ 中的任意向量 $\vec{\beta }$, 把它按照基做线性展开: $\vec{\beta }=a_1{\vec{\beta }}_1+\cdots +a_m{\vec{\beta }}_m$. 则$$⟨\vec{\alpha },\vec{\beta }⟩=a_1⟨\vec{\alpha },{\vec{\beta }}_1⟩+\cdots +a_m⟨\vec{\alpha },{\vec{\beta }}_m⟩=0$$

例子 5.2.8. ${\mathbb{R}}^4$ 是 4 维标准欧几里得空间. 考虑线性子空间$$U_1=\mathrm{Span}\{{\vec{e}}_1\}{U}_2=\mathrm{Span}\{{\vec{e}}_1,{\vec{e}}_2\}$$则$$U_1^{\perp }=\mathrm{Span}\{{\vec{e}}_2,{\vec{e}}_3,{\vec{e}}_4\}{U}_2^{\perp }=\mathrm{Span}\{{\vec{e}}_3,{\vec{e}}_4\}$$

命题 5.2.9. 设 $(V,⟨\cdot ,\cdot ⟩)$ 是一个 $n$ 维欧几里得空间, $U\subset V$ 是线性子空间. 则我们有直和分解$$V=U\oplus U^{\perp }$$

证明: 将内积 $⟨\cdot ,\cdot ⟩$ 限制在 $U$ 上, 易知 $(U,⟨\cdot ,\cdot ⟩)$ 是一个欧几里得空间. 由命题 5.2.5, 我们取 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_m$ 为 $U$ 的一组标准正交基. 对 $V$ 中任意向量 $\vec{x}$, 定义$${\vec{x}}^{\parallel }:=⟨\vec{x},{\vec{\beta }}_1⟩{\vec{\beta }}_1+\cdots +⟨\vec{x},{\vec{\beta }}_m⟩{\vec{\beta }}_m{\vec{x}}^{\perp }=\vec{x}-{\vec{x}}^{\parallel }$$则 ${\vec{x}}^{\parallel }\in U$ 且$$⟨{\vec{x}}^{\perp },{\vec{\beta }}_i⟩=⟨\vec{x},{\vec{\beta }}_i⟩-⟨{\vec{x}}^{\parallel },{\vec{\beta }}_i⟩=0i=1,\cdots ,m$$即 ${\vec{x}}^{\perp }\in U^{\perp }$. 因此我们得到分解$$\vec{x}={\vec{x}}^{\parallel }+{\vec{x}}^{\perp }{\vec{x}}^{\parallel }\in U,{\vec{x}}^{\perp }\in U^{\perp }$$由 $\vec{x}$ 的任意性, 说明 $V=U+U^{\perp }$. 我们下面证明这个是直和.

假设有 $\beta \in U,\gamma \in U^{\perp }$ 使得 $\vec{\beta }+\vec{\gamma }=0$. 则$$⟨\vec{\beta },\vec{\beta }⟩=-⟨\vec{\beta },\vec{\gamma }⟩=0⟹\vec{\beta }=0$$因此 $\vec{\beta }=\vec{\gamma }=0$. 这说明 $V=U\oplus U^{\perp }$.

$\square$

定义 5.2.10. 设 $(V,⟨\cdot ,\cdot ⟩)$ 是一个 $n$ 维欧几里得空间, $U\subset V$ 是线性子空间. 任意向量 $\vec{x}\in V$ 可以唯一地分解为$$\vec{x}={\vec{x}}^{\parallel }+{\vec{x}}^{\perp },\text{其中}{\vec{x}}^{\parallel }\in U,{\vec{x}}^{\perp }\in U^{\perp }$$称为 $\vec{x}$ 关于 $U$ 的正交分解. 线性映射$$p_U:V\to U,\vec{x}\to {\vec{x}}^{\parallel }$$称为 $V$ 向 $U$ 的正交投影.

由上述命题的证明, 如果取 ${\vec{\beta }}_1,\cdots ,{\vec{\beta }}_m$ 为 $U$ 的一组标准正交基, 则正交投影 $p_U$ 为$$p_U(\vec{x})=⟨\vec{x},{\vec{\beta }}_1⟩{\vec{\beta }}_1+\cdots +⟨\vec{x},{\vec{\beta }}_m⟩{\vec{\beta }}_m$$

例子 5.2.11. 考虑平面 ${\mathbb{R}}^2$ 的由直线 $L:\{(x,y)\in {\mathbb{R}}^2|y=ax\}$ 构成的一维子空间. 考虑向量 $\vec{u}=(x_0,y_0)$ 向 $L$ 的正交投影.

直线 $L:\{(x,y)\in {\mathbb{R}}^2|y=ax\}$ 的标准正交基是一个 $L$ 中的单位向量, 可以选为$$\vec{\beta }=\left(\frac{1}{\sqrt{1+a^2}},\frac{a}{\sqrt{1+a^2}}\right)$$因此 $\vec{u}$ 向 $L$ 的正交投影为$$\begin{array}{r}{p}_L(\vec{u})=⟨\vec{u},\vec{\beta }⟩\vec{\beta }=\left(\frac{x_0+a{y}_0}{1+a^2},\frac{(x_0+a{y}_0)a}{1+a^2}\right)\end{array}$$

命题 5.2.12. 设 $(V,⟨\cdot ,\cdot ⟩)$ 是 $n$ 维欧几里得空间, $U\subset V$ 是线性子空间, $\vec{x}$ 是 $V$ 中向量. 则$$\Vert \vec{x}-p_U(\vec{x})\Vert =\underset{\vec{y}\in U}{\min }\Vert \vec{x}-\vec{y}\Vert$$即 $p_U(\vec{x})$ 是 $U$ 中与 $\vec{x}$ 的距离最短的向量.

证明: 设 $\vec{x}={\vec{x}}^{\parallel }+{\vec{x}}^{\perp }$ 是关于 $U$ 的正交分解, 即$$p_U(\vec{x})={\vec{x}}^{\parallel }\in U,{\vec{x}}^{\perp }\in U^{\perp }$$

对任意 $\vec{y}\in U$, ${\vec{x}}^{\parallel }-\vec{y}\in U$ 因此与 ${\vec{x}}^{\perp }$ 正交. 故$$\begin{array}{rl}\Vert \vec{x}-\vec{y}{\Vert }^2=& ⟨{\vec{x}}^{\parallel }+{\vec{x}}^{\perp }-\vec{y},{\vec{x}}^{\parallel }+{\vec{x}}^{\perp }-\vec{y}⟩\\ =& ⟨{\vec{x}}^{\parallel }-\vec{y},{\vec{x}}^{\parallel }-\vec{y}⟩+2⟨{\vec{x}}^{\parallel }-\vec{y},{\vec{x}}^{\perp }⟩+⟨{\vec{x}}^{\perp },{\vec{x}}^{\perp }⟩\\ =& \Vert {\vec{x}}^{\parallel }-\vec{y}{\Vert }^2+\Vert {\vec{x}}^{\perp }{\Vert }^2\ge \Vert {\vec{x}}^{\perp }{\Vert }^2\end{array}$$等号当且仅当 $\vec{y}={\vec{x}}^{\parallel }=p_U(\vec{x})$ 成立.

$\square$

等价而言, 如果向量 $\vec{x}$ 关于 $U$ 的正交分解为$$\vec{x}={\vec{x}}^{\parallel }+{\vec{x}}^{\perp }$$则 $\vec{x}$ 与 $U$ 中向量间的最短距离为分量 ${\vec{x}}^{\perp }$ 的长度$$\underset{\vec{y}\in U}{\min }\Vert \vec{x}-\vec{y}\Vert =\Vert {\vec{x}}^{\perp }\Vert$$这个值也称为向量 $\vec{x}$ 与子空间 $U$ 的距离.