讲解稿 · 第 02 章 第 02 节：矩阵类型¶
口播时长：约 15–20 分钟｜建议语速：中速偏慢，公式处停顿两拍｜字数：约 3800 字
开场钩子（约 1 分钟）¶
先干一件事。
拿出一个 \(4 \times 4\) 的矩阵，元素随便填 16 个不同的数。要求你手算它的逆，或者手算它作用在一个向量上的结果。你会怎么办？大概率你会一边算一边冒汗——16 个数你要一个个盯着看，稍微一走神就抄错。
现在换一个 \(4 \times 4\) 矩阵，但这次对角线上是 \(2, 3, 5, 7\)，其他位置全是 0。逆是什么？你不用动笔——对角线取倒数：\(1/2, 1/3, 1/5, 1/7\)。它作用在向量 \((1, 1, 1, 1)\) 上是什么？也不用动笔——按分量各自缩放：\((2, 3, 5, 7)\)。
同样是 \(4 \times 4\)，同样是 16 个格子。为什么第二个能用心算，第一个要用计算器？
答案就四个字：结构不同。这一节我们要做的事，就是给你一份"矩阵图鉴"——认识大约十几种最常见的结构化矩阵，看清楚每一种结构给我们省下了多少计算，又保证了什么样的数学性质。它们不是花架子，你在协方差、图算法、卷积、正则化里天天见。
好，进图鉴。
复习昨日 & 今日路线（约 40 秒）¶
上一节我们讲了矩阵的性质——形状、转置、迹、行列式、秩，这些是所有矩阵都有的通用属性。
这一节反过来：不是所有矩阵，而是长得特殊的那些矩阵。它们因为形状特殊，才配得上专门的名字和专门的算法。
下一节我们会讲矩阵运算——加减乘、Hadamard 积、Kronecker 积。这一节先把角色认全，下一节让它们上台演戏。
核心概念一：方阵、单位矩阵、零矩阵 —— 三个"起点角色"（约 2.5 分钟）¶
先把三张脸认清楚。
方阵 (square matrix)：行数等于列数，写成 \(n \times n\)。为什么强调它？因为行列式、特征值、逆矩阵——这三样只对方阵定义。非方阵你甚至写不出 \(\det(A)\)。
符号首现：\(I\) —— 单位矩阵 (identity matrix)：对角线全是 1，其他全是 0 的方阵。数字例：$$ I_2 = \begin{pmatrix} 1 & 0 \ 0 & 1 \end{pmatrix} $$。它是"什么都不做"的变换，对任意相容矩阵 \(A\)，\(AI = IA = A\)。
符号首现：\(O\) —— 零矩阵 (zero matrix)：全是 0 的矩阵，可方可非方。数字例：$$ O_{2 \times 3} = \begin{pmatrix} 0 & 0 & 0 \ 0 & 0 & 0 \end{pmatrix} $$。它把任何向量都压成零向量，把所有信息销毁。
到这里，我们其实已经站在了一个更大的舞台上——每一个矩阵都对应一个线性映射。而线性映射是有资格证的，不是随便一个函数都能当。趁这个机会，把 Ch01 一直欠着的一个东西——线性映射三公理——完整地补上。
公理 1 · 加性 - 大白话：先加再变换，等于先变换再加。 - 形式：\(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。 - 反例：\(T(x) = x + 1\)。取 \(u = 1, v = 2\)，\(T(1+2) = T(3) = 4\)，但 \(T(1) + T(2) = 2 + 3 = 5\)。两边不等，\(4 \ne 5\)，所以 \(T(x) = x + 1\) 不是线性映射——它是仿射的。
公理 2 · 齐次 - 大白话：先缩放再变换，等于先变换再缩放。 - 形式：\(T(c\mathbf{v}) = c\,T(\mathbf{v})\)。 - 反例：\(T(x) = x^2\)。取 \(c = 2, v = 3\)，\(T(2 \cdot 3) = T(6) = 36\)，但 \(2 \cdot T(3) = 2 \cdot 9 = 18\)。\(36 \ne 18\)，齐次坏了，所以 \(x^2\) 不是线性映射。
公理 3 · 零映射 - 大白话：零向量进去，零向量出来。 - 形式：\(T(\mathbf{0}) = \mathbf{0}\)。 - 反例：还是 \(T(x) = x + 1\)。\(T(0) = 1 \ne 0\)。零点被平移了，第 3 条就崩了。这也是"线性"和"仿射"的分界线——线性映射的图像必过原点。
三条公理凑在一起，等价于一句话："矩阵乘法可以写成 \(T(\mathbf{v}) = A\mathbf{v}\) 的映射"。单位矩阵 \(I\) 是所有线性映射里最偷懒的那一个，零矩阵 \(O\) 是所有线性映射里最狠的那一个。其他所有类型，都在这两个极端之间找自己的位置。
一句话总结：方阵是舞台，\(I\) 和 \(O\) 是两个极端，中间的每种"类型"都是一种偷懒的姿势。
核心概念二：对角矩阵 —— 换对了基，一切都轻了（约 2.5 分钟）¶
对角矩阵 (diagonal matrix)：只有主对角线上可能非零，其他位置全是 0。写作 \(D = \mathrm{diag}(d_1, d_2, \dots, d_n)\)。
数字锚点： $\(D = \begin{pmatrix} 3 & 0 \\ 0 & 7 \end{pmatrix}, \qquad D \begin{pmatrix} 2 \\ 5 \end{pmatrix} = \begin{pmatrix} 3 \cdot 2 \\ 7 \cdot 5 \end{pmatrix} = \begin{pmatrix} 6 \\ 35 \end{pmatrix}\)$
看清楚了吗？对角矩阵作用在向量上，就是每个分量各自缩放，互不干扰。逆也是心算：\(D^{-1} = \mathrm{diag}(1/3, 1/7)\)。行列式也是心算：\(\det D = 3 \cdot 7 = 21\)。特征值直接读对角线：\(\lambda_1 = 3, \lambda_2 = 7\)。
一句话——对角矩阵是矩阵界里的"独居青年"，每个维度自己过自己的日子。
但真正精彩的地方在这里，也是回引 Ch01 §05 的第一处：一个一般的矩阵 \(A\)，作用起来又乱又缠绕。但你如果换一组基，让新基向量恰好是 \(A\) 的特征向量——\(A\) 在新基下的样子就是对角矩阵。这件事，我们记住那个口诀：
"\(P\) 的列是新基，\(P\) 把新坐标搬回旧描述。"
新基下的矩阵，用相似变换写：
也就是"新 \(=\) \(P^{-1}\) · 旧 · \(P\)"。当 \(\tilde{A}\) 恰好变成对角矩阵时，我们说 \(A\) 可对角化。这就是下一章要讲的特征分解的核心思想。你可以先把这句话钉在脑子里：对角化 = 找到一组基，让原本纠缠的矩阵变成独居青年。
举个 2×2 例子。旧基是标准基 \(\mathbf{e}_1 = (1, 0), \mathbf{e}_2 = (0, 1)\)，新基取 \(\mathbf{b}_1 = (1, 1), \mathbf{b}_2 = (1, -1)\)。那么
如果 $$ A = \begin{pmatrix} 2 & 1 \ 1 & 2 \end{pmatrix} $$，你算一下 \(\tilde{A} = P^{-1} A P\)，会拿到 $$ \begin{pmatrix} 3 & 0 \ 0 & 1 \end{pmatrix} $\(——一个干干净净的对角矩阵。\)\mathbf{b}_1$ 方向被拉伸 3 倍，\(\mathbf{b}_2\) 方向不动。这就是"换基之后世界变简单"的活例子。
⏸️ 暂停思考 · 第一次
上面这个 $$ A = \begin{pmatrix} 2 & 1 \ 1 & 2 \end{pmatrix} $$，它的两个特征值我已经告诉你是 3 和 1。你能不动笔就说出它的行列式和迹吗？
——迹 \(= 2 + 2 = 4 = 3 + 1\)，行列式 \(= 4 - 1 = 3 = 3 \cdot 1\)。特征值之和是迹，之积是行列式。这条捷径以后你会天天用。
核心概念三：对称矩阵 —— 特征向量互相垂直（约 2 分钟）¶
对称矩阵 (symmetric matrix)：等于自己的转置，\(A = A^\top\)，也就是 \(a_{ij} = a_{ji}\)。
数字锚点： $\(S = \begin{pmatrix} 3 & -1 \\ -1 & 6 \end{pmatrix}, \qquad S^\top = \begin{pmatrix} 3 & -1 \\ -1 & 6 \end{pmatrix} = S \;\checkmark\)$
对称矩阵有两个"送分性质"：
第一，所有特征值都是实数，不会冒出复数。 第二，属于不同特征值的特征向量两两正交——你可以直接用它们当一组正交基。
哪些地方一定给你对称矩阵？协方差矩阵是最常见的一个。你随便造几个数据点算个协方差矩阵，它天然对称——因为 \(\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)\)。所以 PCA 的第一步——对协方差矩阵做特征分解——才能成立：你能拿到一组正交的主成分方向。
回引 Ch01 §05 · 第二处：还记得我们讲过"标准基不是唯一的基"吗？对称矩阵最爱送你的礼物，就是送你一组正交的新基——正好能让它自己对角化。所以你会看到对称矩阵后面几乎总跟着"谱分解"，而谱分解就是"换到特征向量当基，矩阵变对角"这件事的正式说法。
一句话总结：对称矩阵 = 一组免费的正交新基。
核心概念四：三角矩阵 —— 求解方程的加速带（约 2 分钟）¶
三角矩阵 (triangular matrix)：对角线一侧全是 0。上三角是下方全零，下三角是上方全零。
数字锚点（下三角）： $\(L = \begin{pmatrix} 2 & 0 & 0 \\ 1 & 3 & 0 \\ -1 & 2 & 4 \end{pmatrix}\)$
它有两个甜头： - 行列式 = 对角线乘积：\(\det L = 2 \cdot 3 \cdot 4 = 24\)，心算级别。 - 求解 \(L\mathbf{x} = \mathbf{b}\) 极快：叫前代 (forward substitution)。第一行只含 \(x_1\)，直接解出；第二行只含 \(x_1, x_2\)，代入第一行结果算 \(x_2\)；第三行代入前两个算 \(x_3\)。\(n \times n\) 系统只要 \(O(n^2)\) 次运算，而不是一般的 \(O(n^3)\)。上三角对应回代 (back substitution)，从下往上倒着来。
这里正好补 Ch01 遗留的一个断层——"\(P^{-1}\) 到底怎么算？" 上一章基变换那一节，我们说"\(P^{-1}\) 把旧坐标翻译回新坐标"，但没手把手教你算。现在补上，从 2×2 开始。
对 2×2 矩阵有一个背下来就行的公式：
口诀：主对角对换，副对角变号，全部除以行列式。
数字例：$$ P = \begin{pmatrix} 1 & 1 \ 1 & -1 \end{pmatrix} $\(，\)\det P = -2$，所以
验证：\(P P^{-1} = I\)，你自己乘一下就知道对了。
3×3 及更高怎么算？坦白讲，人手不划算——工程上都靠LU 分解：先把矩阵拆成一个下三角 \(L\) 乘一个上三角 \(U\)，再前代+回代解两次。这套方法我们放到 Ch03 §05 矩阵分解里正式讲。你现在只需要记住："\(P^{-1}\) 不是靠伴随矩阵硬算的，是靠 LU 分解算的"。
一句话总结：三角矩阵 = 求解方程的加速带，\(O(n^2)\) 走完全程。
核心概念五：正交矩阵 —— 转置即逆，最省事的换基（约 2 分钟）¶
正交矩阵 (orthogonal matrix)：\(Q^\top Q = QQ^\top = I\)，也就是 \(Q^{-1} = Q^\top\)。
这一行读一遍你可能没感觉，但工程上它是最省事的性质——求逆等于转置。转置几乎不花时间（就是重排下标），而一般求逆是 \(O(n^3)\)。所以在能选正交矩阵的地方，人们都拼命选正交矩阵：QR 分解、SVD 里的 \(U\) 和 \(V\)、旋转、反射……全是正交矩阵。
数字锚点：二维旋转矩阵 $\(Q = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}\)$
取 \(\theta = \pi/4\)，$$ Q = \tfrac{1}{\sqrt{2}}\begin{pmatrix} 1 & -1 \ 1 & 1 \end{pmatrix} $$。你算 \(Q^\top Q\)，两列都是单位向量、且相互垂直，正好凑出 \(I\)。
正交矩阵的列向量两两正交、长度为 1——这就叫标准正交基 (orthonormal basis)。是不是眼熟？
回引 Ch01 §05 · 第三处：换基口诀说"\(P\) 的列是新基，\(P\) 把新坐标搬回旧描述"。当这个 \(P\) 恰好是正交矩阵——也就是新基本身就是标准正交基——的时候，\(P^{-1} = P^\top\)，翻译回去只要一次转置，代价几乎为零。这就是为什么PCA 要求主成分方向是标准正交基：换回原坐标便宜得像不要钱。
一句话总结：正交矩阵 = 保长度、保角度的旋转反射，转置即逆。
⏸️ 暂停思考 · 第二次
$$ Q = \tfrac{1}{\sqrt{2}}\begin{pmatrix} 1 & -1 \ 1 & 1 \end{pmatrix} $$ 这个矩阵，作用在 \((1, 0)^\top\) 上会得到什么？作用后向量的长度变了没有？
——结果是 \((1/\sqrt{2}, 1/\sqrt{2})^\top\)，长度还是 1。这是正交矩阵的"长度守恒"证据。
核心概念六：稀疏、置换、以及一堆⭐进阶客串（约 2 分钟）¶
剩下几种一次带过，主干只要知道有，遇到时能查回来。
- 🟢 稀疏矩阵 (sparse matrix)：绝大多数元素为 0。工程意义：存储不存 0、算不算 0。\(10^6 \times 10^6\) 的社交网络邻接矩阵，稠密存要 4TB 内存，稀疏存可能只有几百 MB。
- 🟢 置换矩阵 (permutation matrix)：单位矩阵的行重排。数字例：$$ P = \begin{pmatrix} 0 & 0 & 1 \ 1 & 0 & 0 \ 0 & 1 & 0 \end{pmatrix} $$ 把 \((a, b, c)^\top\) 变成 \((c, a, b)^\top\)——把第 3 个搬到第 1 位。每行每列恰有一个 1。它也是正交矩阵。
下面几种打 ⭐（主干外可跳过，用到再回来查）：
- 🟡 ⭐ Toeplitz 矩阵：每条对角线上元素相等，卷积的矩阵表示。
- 🟡 ⭐ 循环矩阵 (circulant matrix)：Toeplitz 的特例，每行是上一行循环移位。它能被 DFT 对角化——这也是"卷积在傅里叶域变乘法"的矩阵版本。
- 🟡 ⭐ Hermite 矩阵 & 酉矩阵：对称/正交的复数版本。实/复域切换提醒——本节前面都默认实数域 \(\mathbb{R}\)，从这里开始才切到复数域 \(\mathbb{C}\)：Hermite 矩阵满足 \(A = A^*\)，\(A^*\) 是共轭转置；酉矩阵满足 \(U^* U = I\)。你在量子计算和信号处理里会大量遇到。
- 🟡 ⭐ 幂等矩阵：\(A^2 = A\)。它是投影——投影两次和一次是一样的。
- 🔴 ⭐ 幂零矩阵：\(A^k = O\)。作用足够多次一切归零。反例：$$ \begin{pmatrix} 0 & 1 \ 0 & 0 \end{pmatrix}^2 = O $$。
- 🟡 ⭐ Vandermonde、Hessenberg：多项式插值 / 特征值算法的中间形态，用到再翻。
上面这些⭐节点你完全可以先跳，考试遇到再回查。主干上你只要抓住前五个：方阵/单位/零、对角、对称、三角、正交——这五个能撑起 80% 的场景。
一个走完全程的例子（约 2.5 分钟）¶
好，我们用一个例子把整节串起来。假设你有三个人的两个特征：身高和体重的去均值数据，装成一个矩阵
三行是三个样本，两列是两个特征。你要算它们的协方差矩阵：
第一步先认脸：\(C\) 长得对称吗？\(C_{12} = C_{21} = 1.5\)——对称矩阵 ✓。所以我们立刻知道两件事：特征值实数、特征向量正交。
第二步算特征值。迹 \(= 3 + 1 = 4\)，行列式 \(= 3 \cdot 1 - 1.5^2 = 0.75\)。特征方程 \(\lambda^2 - 4\lambda + 0.75 = 0\)，解得 \(\lambda_1 \approx 3.80, \lambda_2 \approx 0.20\)。两个都是实数——对称矩阵许诺过的事情兑现了。
第三步找特征向量、拼一个正交矩阵 \(Q\)（每列是一个单位特征向量）。因为对称矩阵送我们正交基，这个 \(Q\) 自动是正交矩阵——转置即逆。
第四步换基：$$ \tilde{C} = Q^\top C Q = \begin{pmatrix} 3.80 & 0 \ 0 & 0.20 \end{pmatrix} $$。这是一个对角矩阵——独居青年。
整套动作串起来就是主成分分析 PCA。看清楚整条链条了吗——从对称矩阵出发，用正交矩阵换基，得到对角矩阵，读出主成分方向和方差大小。相似变换写作 \(\tilde{C} = Q^{-1} C Q\)，因为 \(Q\) 正交，\(Q^{-1} = Q^\top\)，所以也写作 \(\tilde{C} = Q^\top C Q\)——两种写法等价。
这一节讲的三种类型，在这一个 PCA 例子里全部出场。
易错点回头看（约 1 分钟）¶
三条最常翻车的地方，写在你笔记最显眼的位置。
-
很多人以为：正交矩阵就是每列长度为 1 的矩阵。其实是：每列长度为 1 且两两正交。因为只满足单位长度不叫正交矩阵——那只是"单位化"，不保证 \(Q^\top Q = I\)。反例：$$ \begin{pmatrix} 1 & 1 \ 0 & 0 \end{pmatrix} $$ 每列长度都是 1，但不正交，转置乘自己不是 \(I\)。
-
很多人以为：\(A^2 = A\) 就是 \(A = I\)。其实是：任何投影矩阵都满足 \(A^2 = A\)，不只是 \(I\)。因为投影一次和投影两次结果一样——想想影子，你影子的影子还是它自己。数字反例：$$ A = \begin{pmatrix} 1 & 0 \ 0 & 0 \end{pmatrix} $\(，\)A^2 = A$，但 \(A \ne I\)。
-
很多人以为：三角矩阵的逆一定还是三角矩阵。其实是：同侧三角。因为下三角的逆是下三角，上三角的逆是上三角，但如果你写成"块三角"要另算。实操上：LU 分解要求 \(L\) 保持下三角、\(U\) 保持上三角，就是靠这条性质。
与下节的钩子（约 30 秒）¶
现在你手上有一整套"结构化角色"了。下一节——02.03 矩阵运算——我们让这些角色开始动起来：加减、乘、Hadamard 积、Kronecker 积。你会看到一个诡异的事实：矩阵乘法不满足交换律——\(AB\) 和 \(BA\) 一般不相等。为什么？带着这个问题咱们下节见。