2.1. 矩阵的基本运算

矩阵的加法与数乘

一个 $m \times n$ 矩阵记为 $A = ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤$ 第 $i$ 行第 $j$ 列的元素 $a_{ij}$ 称为矩阵 $A$ 的 $(i, j)$ 分量. 我们通常也把矩阵 $A$ 用其元素记作 $A = (a_{ij})$

定义 2.1.1. 两个 $m \times n$ 矩阵 $A = ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤ B = ⎣ ⎡ b_{11} b_{21} \dots b_{m 1} b_{12} b_{22} \dots b_{m 2} \dots \dots \dots \dots b_{1 n} b_{2 n} \dots b_{mn} ⎦ ⎤$ 的加法 $A + B$ 定义为如下的 $m \times n$ 矩阵 $A + B = ⎣ ⎡ a_{11} + b_{11} a_{21} + b_{21} \dots a_{m 1} + b_{m 1} a_{12} + b_{12} a_{22} + b_{22} \dots a_{m 2} + b_{m 2} \dots \dots \dots \dots a_{1 n} + b_{1 n} a_{2 n} + b_{2 n} \dots a_{mn} + b_{mn} ⎦ ⎤$

如果用分量来表达的话 $A = (a_{ij}) B = (b_{ij})$ 则 $A + B$ 为对应的分量相加 $A + B = (a_{ij} + b_{ij})$

由命题 1.4.12 我们知道 $m \times n$ 矩阵一一对应于 $R^{n} \to R^{m}$ 的线性映射. 考虑两个线性映射 $f, g : R^{n} \to R^{m}$ , 它们的和 $f + g$ 定义了一个 $R^{n} \to R^{m}$ 的线性映射 $(f + g) (x) = f (x) + g (x)$ 如果 $f$ 对应于矩阵 $A$ , $g$ 对应于矩阵 $B$ , 容易看出 $f + g ⟺ A + B$

定义 2.1.2. 给定一个数 $λ \in k$ 和一个 $m \times n$ 矩阵 $A = ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤$ 我们定义它们的数乘 $λ A$ 为 $m \times n$ 矩阵 $λ A = ⎣ ⎡ λ a_{11} λ a_{21} \dots λ a_{m 1} λ a_{12} λ a_{22} \dots λ a_{m 2} \dots \dots \dots \dots λ a_{1 n} λ a_{2 n} \dots λ a_{mn} ⎦ ⎤$

我们用 $M_{m \times n} (k)$ 来表示所有数域 $k$ 中的 $m \times n$ 矩阵构成的集合 ( $k = R$ 或 $C$ ) . 如果不特别标记数域, $M_{m \times n}$ 指的是实系数的 $m \times n$ 矩阵的集合 $M_{m \times n} = M_{m \times n} (R)$

命题 2.1.3. $M_{m \times n}$ 在矩阵的加法和数乘下构成一个线性空间.

通过矩阵的分量, 我们可以把矩阵 $A = (a_{ij})$ 一一对应于 $mn$ 个实数 $a_{ij}$ . 因此 $dim M_{m \times n} = mn$

矩阵的乘法

矩阵之间可以引进乘法运算. 为了说明如何定义矩阵相乘, 我们把一个矩阵 $A = (a_{ij})$ 的 $(i, j)$ 分量表示成一个箭头的样子

我们把 $a_{ij}$ 想象成从节点 $i$ 到另一个节点 $j$ 的权值.

设 $A$ 是一个 $m \times p$ 矩阵, $B$ 是一个 $p \times n$ 矩阵. $A = (a_{ik}), i = 1, \dots, m k = 1, \dots, p . B = (b_{kj}), k = 1, \dots, p j = 1, \dots, n .$

这里 $k$ 的指标都是从 $1, \dots, p$ , 我们可以把中间这个节点连接起来

我们考虑从 $i$ 出发, 经过中间节点 $k$ , 最后到 $j$ 的过程, 并对所有的中间节点 $k$ 的位置求和得到一个从 $i$ 到 $j$ 的权值 $c_{ij} = k = 1 \sum p a_{ik} b_{kj}$ . 这组新的数字 $c_{ij}$ 定义了一个 $m \times n$ 的矩阵, 记作 $C = (c_{ij})$ 这个新矩阵 $C$ 就是矩阵 $A$ 和 $B$ 的乘积.

定义 2.1.4. 设 $A$ 是一个 $m \times p$ 矩阵, $B$ 是一个 $p \times n$ 矩阵. 它们的乘积 $C = A B$ 定义为 $m \times n$ 矩阵, 其中 $C$ 的 $(i, j)$ 分量为 $c_{ij} = k = 1 \sum p a_{ik} b_{kj}$ 这里 $a_{ik}$ 是 $A$ 的 $(i, k)$ 分量, $b_{kj}$ 是 $B$ 的 $(k, j)$ 分量.

我们强调一下, 并不是任意两个矩阵都可以相乘. 这里两个矩阵 $A, B$ 可以相乘的前提是 $A$ 的列数和 $B$ 的行数一样的, 即 “首尾相接”. $M_{m \times p} \times M_{p \times n} \to 相乘 M_{m \times n}$

$c_{ij} = k = 1 \sum p a_{ik} b_{kj}$

这个公式也表明 $(A B)$ 的 $(i, j)$ 分量 $c_{ij}$ , 是 $A$ 的第 $i$ 行向量 $[a_{i 1} \dots a_{i p}]$ 和 $B$ 的第 $j$ 列向量 $⎣ ⎡ b_{1 j} ⋮ b_{p j} ⎦ ⎤$ 对应位置的数字乘起来求和 $a_{i 1} b_{1 j} + a_{i 2} b_{2 j} + \dots + a_{i p} b_{p j} .$

$= ⎣ ⎡ a_{11} \dots a_{i 1} \dots a_{m 1} a_{12} \dots a_{i 2} \dots a_{m 2} \dots \dots \dots \dots \dots a_{1 p} \dots a_{i p} \dots a_{m p} ⎦ ⎤ ⎣ ⎡ b_{11} b_{21} ⋮ b_{p 1} \dots \dots \dots \dots b_{1 j} b_{2 j} ⋮ b_{p j} \dots \dots \dots \dots b_{1 n} b_{2 n} ⋮ b_{p n} ⎦ ⎤ ⎣ ⎡ k \sum a_{1 k} b_{k 1} \dots k \sum a_{ik} b_{k 1} \dots k \sum a_{mk} b_{k 1} k \sum a_{1 k} b_{k 2} \dots \dots \dots k \sum a_{mk} b_{k 2} \dots \dots k \sum a_{ik} b_{kj} \dots \dots k \sum a_{1 k} b_{kn} \dots \dots \dots k \sum a_{mk} b_{kn} ⎦ ⎤ .$

例子 2.1.5. $[100121] ⎣ ⎡ 101110011101 ⎦ ⎤ = [31112231] .$

我们同样可以把多个矩阵相乘. 设 $A_{1}, A_{2}, \dots, A_{s}$ 依次是 $m \times p_{1}, p_{1} \times p_{2}, \dots, p_{s - 1} \times n$ 矩阵. 则它们的乘积 $A_{1} A_{2} \dots A_{s}$ 是一个 $m \times n$ 矩阵, 其 $(i, j)$ 分量为 $(A_{1} A_{2} \dots A_{s})_{ij} = k_{1} = 1 \sum p_{1} \dots k_{s - 1} = 1 \sum p_{s - 1} (A_{1})_{i k_{1}} (A_{2})_{k_{1} k_{2}} \dots (A_{s})_{k_{s - 1} j}$ 这里 $(A_{r})_{k l}$ 是矩阵 $A_{r}$ 的 $(k, l)$ 分量. 我们可以画图表示为

矩阵的乘法满足结合律 $(A B) C = A (BC) = A BC,$ 这里 $A$ 是 $m \times p$ 矩阵, $B$ 是 $p \times q$ 矩阵, $C$ 是 $q \times n$ 矩阵. 结合律等价于如下的求和等式 $l = 1 \sum q k = 1 \sum p (A)_{ik} (B)_{k l} (C)_{l j} = k = 1 \sum p l = 1 \sum q (A)_{ik} (B)_{k l} (C)_{l j}$

线性映射的复合

我们知道线性映射一一对应于矩阵. 下面我们说明矩阵的乘法对应于线性映射的复合, 这给出了矩阵乘法定义方式的一个自然的解释. 设 $f : R^{p} \to R^{m}, g : R^{n} \to R^{p}$ 是两个线性映射. 它们的复合得到一个映射 $f \circ g : R^{n} \to R^{m}$ $f \circ g$ 依然是一个线性映射: 它保加法 $f (g (u + v)) = g 线性 f (g (u) + g (v)) = f 线性 f (g (u)) + f (g (v))$ 类似可证 $f \circ g$ 保数乘.

命题 2.1.6. 如果线性映射 $f : R^{p} \to R^{m}$ 对应于 $m \times p$ 矩阵 $A$ , $g : R^{n} \to R^{p}$ 对应于 $p \times n$ 矩阵 $B$ . 则它们的复合 $f \circ g : R^{n} \to R^{m}$ 对应于 $m \times n$ 矩阵 $A B$ . 即矩阵的乘法对应于线性映射的复合.

证明: 记 $R^{n}$ 的标准基 $e_{1} = ⎣ ⎡ 10 ⋮ 0 ⎦ ⎤ e_{2} = ⎣ ⎡ 01 ⋮ 0 ⎦ ⎤ \dots e_{n} = ⎣ ⎡ 00 ⋮ 1 ⎦ ⎤$ 和 $R^{p}$ 的标准基 $u_{1} = ⎣ ⎡ 10 ⋮ 0 ⎦ ⎤ u_{2} = ⎣ ⎡ 01 ⋮ 0 ⎦ ⎤ \dots u_{p} = ⎣ ⎡ 00 ⋮ 1 ⎦ ⎤$

$g : R^{n} \to R^{p}$ 对应的 $p \times n$ 矩阵 $B$ 为 $B = [g (e_{1}) g (e_{2}) \dots g (e_{n})],$ 用矩阵元可以写成 $g (e_{j}) = ⎣ ⎡ b_{1 j} b_{2 j} ⋮ b_{p j} ⎦ ⎤ = b_{1 j} u_{1} + \dots + b_{p j} u_{p}$

$f : R^{p} \to R^{m}$ 对应的 $m \times p$ 矩阵 $A$ 为 $A = [f (u_{1}) f (u_{2}) \dots f (u_{p})],$ 用矩阵元可以写成 $f (u_{k}) = ⎣ ⎡ a_{1 k} a_{2 k} ⋮ a_{mk} ⎦ ⎤$

我们考虑复合

f \circ g : R^{n} \to R^{m}

, 其对应于矩阵

[f (g (e_{1})) f (g (e_{2})) \dots f (g (e_{n}))]

它的第

j

列为

f (g (e_{j})) = = f (b_{1 j} u_{1} + \dots + b_{p j} u_{p}) = b_{1 j} f (u_{1}) + \dots + b_{p j} f (u_{p}) b_{1 j} ⎣ ⎡ a_{11} a_{21} ⋮ a_{m 1} ⎦ ⎤ + \dots + b_{p j} ⎣ ⎡ a_{1 p} a_{2 p} ⋮ a_{m p} ⎦ ⎤ = ⎣ ⎡ k = 1 \sum p a_{1 k} b_{kj} k = 1 \sum p a_{2 k} b_{kj} ⋮ k = 1 \sum p a_{mk} b_{kj} ⎦ ⎤ .

因此

f \circ g

对应的矩阵

[f (g (e_{1})) f (g (e_{2})) \dots f (g (e_{n}))] = ⎣ ⎡ k \sum a_{1 k} b_{k 1} \dots k \sum a_{ik} b_{k 1} \dots k \sum a_{mk} b_{k 1} k \sum a_{1 k} b_{k 2} \dots \dots \dots k \sum a_{mk} b_{k 2} \dots \dots k \sum a_{ik} b_{kj} \dots \dots k \sum a_{1 k} b_{kn} \dots \dots \dots k \sum a_{mk} b_{kn} ⎦ ⎤

即为矩阵

A

和

B

的乘积

A B

.

$□$

我们可以对比一下矩阵乘积的表示法

和映射复合的表示法

矩阵乘法的结合律对应于映射复合的结合律.

我们可以用矩阵把线性映射写成显式的形式. 设 $f : R^{n} \to R^{m}$ 是线性映射, 对应于 $m \times n$ 矩阵 $A$ $A = [f (e_{1}) f (e_{2}) \dots f (e_{n})] = ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤$ 对于 $R^{n}$ 中任一向量 $x = ⎣ ⎡ x_{1} x_{2} \dots x_{n} ⎦ ⎤ = x_{1} e_{1} + \dots + x_{n} e_{n}$

$= f (x) = x_{1} f (e_{1}) + \dots + x_{n} f (e_{n}) ⎣ ⎡ a_{11} x_{1} + a_{12} x_{2} + \dots a_{1 n} x_{n} a_{21} x_{1} + a_{22} x_{2} + \dots a_{2 n} x_{n} \dots a_{m 1} x_{1} + a_{m 2} x_{2} + \dots a_{mn} x_{n} ⎦ ⎤ = ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤ ⎣ ⎡ x_{1} x_{2} \dots x_{n} ⎦ ⎤$ 因此写成向量形式, 线性映射 $f : R^{n} \to R^{m}$ $f : ⎣ ⎡ x_{1} x_{2} \dots x_{n} ⎦ ⎤ \mapsto ⎣ ⎡ a_{11} a_{21} \dots a_{m 1} a_{12} a_{22} \dots a_{m 2} \dots \dots \dots \dots a_{1 n} a_{2 n} \dots a_{mn} ⎦ ⎤ ⎣ ⎡ x_{1} x_{2} \dots x_{n} ⎦ ⎤$ 恰好是把 $n$ 维列向量 (即 $n \times 1$ 矩阵) 乘以 $m \times n$ 矩阵 $A$ , 得到 $m$ 维列向量 (即 $m \times 1$ 矩阵) .

总结一下, 线性映射和矩阵的关系可以用矩阵乘法表达为 $f : R^{n} f (x) \to R^{m} = A x, x = ⎣ ⎡ x_{1} x_{2} \dots x_{n} ⎦ ⎤$

分块矩阵

分块矩阵是指将矩阵按照某种方式划分成若干个小矩阵 (块) . 分块矩阵是将大矩阵分解为较小矩阵的一种有效方法, 有助于简化计算和表示结构化数据.

一个 $m \times n$ 矩阵可以分块表示为 $A = ⎣ ⎡ A_{11} A_{21} ⋮ A_{m 1} A_{12} A_{22} ⋮ A_{m 2} \dots \dots ⋱ \dots A_{1 n} A_{2 n} ⋮ A_{mn} ⎦ ⎤$ 其中 $A_{ij}$ 是块矩阵的元素, 通常是较小的矩阵. 例如, $A_{ij}$ 可以是 $p_{i} \times q_{j}$ 矩阵, 其中 $p_{i}$ 和 $q_{j}$ 是适当选择的维度.

假设我们有两个矩阵 $A$ 和 $B$ , 它们分别分块表达为: $A = [A_{11} A_{21} A_{12} A_{22}] B = [B_{11} B_{21} B_{12} B_{22}]$ 其中 $A_{ij}$ 和 $B_{ij}$ 的维度需要满足乘法的条件. 乘积 $C = A B$ 也会是一个分块矩阵: $C = [C_{11} C_{21} C_{12} C_{22}]$ 其中每个块的计算可以通过类似的矩阵乘法公式得到: $C_{ij} = k \sum A_{ik} B_{kj}$

具体而言, 我们有 $C = [A_{11} B_{11} + A_{12} B_{21} A_{21} B_{11} + A_{22} B_{21} A_{11} B_{12} + A_{12} B_{22} A_{21} B_{12} + A_{22} B_{22}]$

注记. 注意到 $A_{ij}, B_{ij}$ 都是一些矩阵块而不再是数字, 公式里每个矩阵块的乘积表达顺序是重要的. 这里我们需要按照乘积顺序把 $A$ 的矩阵块写在前面, $B$ 的矩阵块写在后面. 例如 $C_{11}$ 的矩阵元是 $A_{11} B_{11} + A_{12} B_{21}$ , 而不能写成 $B_{11} A_{11} + B_{21} A_{12}$ . 类似地矩阵乘法公式对于多个分块也是成立的, 具体细节留给读者证明.

例子 2.1.7. 考虑把如下矩阵进行分块: $A = ⎣ ⎡ [1324] [78] [56] 9 ⎦ ⎤ B = ⎣ ⎡ [1001] [45] [23] 6 ⎦ ⎤$

按照如上分块计算矩阵乘积 $C = A B$ $C_{11} = [1324] [1001] + [56] [45] = [1324] + [20242530] = [21272734] C_{12} = [1324] [23] + [56] 6 = [818] + [3036] = [3854] C_{21} = [78] [1001] + 9 [45] = [78] + [3645] = [4353] C_{22} = [78] [23] + 9 * 6 = 38 + 54 = 92$ 因此我们得到矩阵 $A B$ 的分块表达 $A B = ⎣ ⎡ [21272734] [4353] [3854] 92 ⎦ ⎤$

例子 2.1.8. 设 $A$ 是 $m \times p$ 矩阵, $B$ 是 $p \times n$ 矩阵. 它们的乘积 $A B$ 是 $m \times n$ 矩阵. 我们可以通过分块来得到乘积 $A B$ 的行和列的表达.

首先我们把 $B$ 分块成列向量的样子 $B = [β_{1} β_{2} \dots β_{n}]$ 这里 $β_{j}$ 是 $R^{p}$ 中的列向量. 则作为分块矩阵, 我们得到如下公式 $A B = A [β_{1} β_{2} \dots β_{n}] = [A β_{1} A β_{2} \dots A β_{n}]$ 即 $A B$ 的第 $j$ 列的列向量为 $A β_{j}$ .

类似地, 我们把 $A$ 分块成行向量的样子 $A = ⎣ ⎡ α_{1} α_{1} ⋮ α_{m} ⎦ ⎤$ 这里 $α_{i}$ 是 $R^{p}$ 中的行向量. 则作为分块矩阵, 我们得到如下公式 $A B = ⎣ ⎡ α_{1} α_{2} ⋮ α_{m} ⎦ ⎤ B = ⎣ ⎡ α_{1} B α_{2} B ⋮ α_{m} B ⎦ ⎤$ 即 $A B$ 的第 $i$ 行的行向量为 $α_{i} B$ .

上面两个公式也可以直接通过矩阵乘法的定义来验证.

名字空间

视图

2.1. 矩阵的基本运算

矩阵的加法与数乘

矩阵的乘法

线性映射的复合

分块矩阵