Ch02 矩阵 · 考研/期末复习大纲¶
覆盖 5 节: 矩阵性质 → 矩阵类型 → 矩阵运算 → 线性变换 → 矩阵分解
基变换核心口诀 (承接 Ch01 §05, 全书统一): "\(P\) 的列是新基, \(P\) 把新坐标搬回旧描述。"
即: \(P\) 的第 \(j\) 列 = 新基向量 \(\mathbf{b}_j\) 在旧基下的坐标; \(\mathbf{v}_{旧} = P\,\mathbf{v}_{新}\), \(\mathbf{v}_{新} = P^{-1}\,\mathbf{v}_{旧}\)。 相似变换统一写: 若 \(A\) 在旧基下, 新基下表示为 \(\tilde A\), 则 \(\tilde A = P^{-1} A P\)。Ch02 特征值/对角化/相似矩阵全章沿用此约定, 不允许写反。
2×2 数字例 (Ch02 首次出现基变换, 强制配套, 沿用 Ch01 §05):
旧基 \(\mathbf{e}_1=(1,0),\mathbf{e}_2=(0,1)\), 新基 \(\mathbf{b}_1=(1,1),\mathbf{b}_2=(1,-1)\)。 $$ P=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$, $$ P^{-1}=\tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$。 设 $$ A=\begin{pmatrix}3&0\0&1\end{pmatrix} $$ (在旧基下), 则新基下 $$ \tilde A = P^{-1}AP = \tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix}\begin{pmatrix}3&0\0&1\end{pmatrix}\begin{pmatrix}1&1\1&-1\end{pmatrix}=\begin{pmatrix}2&1\1&2\end{pmatrix} $$。
一、考点分级速览¶
两套标签, 各司其职: - 考频 (纵向): 🔴必考 / 🟡常考 / 🟢拓展 — 命题池重要度 - 难度 (横向, 每考点单独打): 🟢入门 (L1-L2) / 🟡进阶 (L3-L4) / 🔴高阶 (L5-L6) — Bloom 认知层级 - ⭐ 主干外可跳过 (考试不考, 兴趣拓展)
| 考频 | 考点 | 说明 |
|---|---|---|
| 🔴必考 | 矩阵维度/转置/迹/秩/行列式/逆/条件数、矩阵乘法 (行乘列)、AB≠BA、单位矩阵/对角/对称/正交/三角、Hadamard 积、矩阵-向量乘=列的加权和、线性变换两条公理 + 一个推论 (加性 / 齐次 → 零映射)、旋转/缩放/反射/错切/投影矩阵、核 (Ker) 与像 (Im)、秩-零度定理、特征值/特征向量、相似 \(\tilde A=P^{-1}AP\)、对称阵谱定理、LU/QR/Cholesky/特征分解/SVD 定义与用途 | 定义 / 计算 / 判定 / 变换识别题的核心命题池 | | 🟡常考 | Frobenius / 谱 / 核范数、正定判定、条件数与数值稳定、迹的循环不变性、行列式性质、置换矩阵、Kronecker 积、外积秩 1、正交矩阵行列式 = ±1、旋转 vs 反射的方向、可对角化条件、Cholesky 作为正定检测器 | 中题量, 计算 + 简答 | | 🟢拓展 | Toeplitz / 循环矩阵与 DFT、块矩阵、Sherman-Morrison、Moore-Penrose 伪逆 \(A^+\)、Jordan 标准形 ⭐、矩阵指数 \(e^A\) ⭐、Rayleigh 商、CSR 稀疏格式、Strassen 算法 ⭐ | 综合题、概念辨析题 |
二、考点详解¶
🔴考频 · 考点 1: 矩阵维度、元素、转置 难度 🟢 L1¶
- 出处: §1
- 公式: \(A \in \mathbb{R}^{m\times n}\), 元素 \(a_{ij}\) 表示第 \(i\) 行第 \(j\) 列; 转置 \((A^\top)_{ij}=a_{ji}\)
- 数字锚点: $$ A=\begin{pmatrix}1&2&3\4&5&6\end{pmatrix} $$, $$ A^\top=\begin{pmatrix}1&4\2&5\3&6\end{pmatrix} $$
- 典型题型: 给尺寸判 \(AA^\top\) 与 \(A^\top A\) 各是几阶方阵 (答: \(m\times m\) 与 \(n\times n\)); 转置双次归位 \((A^\top)^\top=A\)
- 易错点: 行列约定混淆 (机器学习: 行=样本, 列=特征; 部分数学文献相反)
- 连接: Ch01 §04 点积 → 矩阵乘法第 \(ij\) 元 = "\(A\) 第 \(i\) 行 · \(B\) 第 \(j\) 列"
🔴考频 · 考点 2: 迹 (trace) 难度 🟢 L2¶
- 出处: §1
- 公式: \(\mathrm{tr}(A)=\sum_i a_{ii}\) (仅方阵); \(\mathrm{tr}(A)=\sum \lambda_i\)
- 数字锚点: $$ B=\begin{pmatrix}1&2&3\4&5&6\7&8&9\end{pmatrix} $$, \(\mathrm{tr}(B)=1+5+9=15\)
- 性质: 线性 \(\mathrm{tr}(A+B)=\mathrm{tr}(A)+\mathrm{tr}(B)\); 循环不变 \(\mathrm{tr}(ABC)=\mathrm{tr}(BCA)=\mathrm{tr}(CAB)\); 基无关 \(\mathrm{tr}(P^{-1}AP)=\mathrm{tr}(A)\)
- 典型题型: 已知 \(A\) 特征值 \(\{2,3,-1\}\) 求 \(\mathrm{tr}(A)\); 证 \(\mathrm{tr}(AB)=\mathrm{tr}(BA)\) (不要求 \(AB=BA\))
- 易错点: 对非方阵求迹; 把 \(\mathrm{tr}(ABC)=\mathrm{tr}(ACB)\) 当成循环 (循环只允许"整体轮换")
- 连接: 承 Ch01 §05 基变换 — 迹是"看不到基的量", \(P^{-1}AP\) 换基不改迹
🔴考频 · 考点 3: 秩 (rank) 与秩-零度定理 难度 🟡 L3¶
- 出处: §1
- 判据: 秩 = 线性无关行数 = 线性无关列数 (行秩 = 列秩)
- 数字锚点: $$ \begin{pmatrix}1&2\2&4\end{pmatrix} $$ 秩 = 1 (两行成比例); $$ \begin{pmatrix}1&2\3&4\end{pmatrix} $$ 秩 = 2
- 秩-零度定理: \(\mathrm{rank}(A)+\dim\mathrm{Ker}(A)=n\) (列数)
- 典型题型: 给 \(3\times 4\) 矩阵求秩、Ker 维数; 判 \(A\mathbf{x}=\mathbf 0\) 是否只有零解 (⇔ 满列秩)
- 易错点: 秩 ≤ \(\min(m,n)\); 行秩 = 列秩容易被漏 (行方向找无关 vs 列方向找无关, 数值可能一样但推导不同)
- 连接: Ch01 §02 线性无关 → 矩阵秩; 满秩方阵 ⇔ 可逆
🔴考频 · 考点 4: 行列式 难度 🟡 L3¶
- 出处: §1, §3
- 公式: 2×2 $$ \det\begin{pmatrix}a&b\c&d\end{pmatrix}=ad-bc $$; 3×3 展开式; 一般用余子式或行变换
- 数字锚点: $$ \det\begin{pmatrix}1&2\3&4\end{pmatrix}=1\cdot 4-2\cdot 3=-2 $$
- 性质: \(\det(AB)=\det(A)\det(B)\); \(\det(A^\top)=\det(A)\); \(\det(A^{-1})=1/\det(A)\); \(\det(cA)=c^n\det(A)\) (\(A\) 为 \(n\times n\)); 三角阵行列式 = 对角元乘积; \(\det(A)=\prod \lambda_i\)
- 几何: 行列式绝对值 = 变换后单位体积的缩放比; 符号 = 是否翻转朝向
- 典型题型: 用行变换算 4×4; 由特征值反求行列式; 判可逆 (⇔ \(\det \neq 0\))
- 易错点: \(\det(A+B)\neq\det(A)+\det(B)\) (无加法性); 忘 \(\det(cA)\) 的 \(c^n\)
🔴考频 · 考点 5: 逆矩阵 \(A^{-1}\) 与手算方法 难度 🟡 L3¶
- 出处: §1, §3
- 条件: 方阵 + 满秩 ⇔ 可逆 ⇔ \(\det A \neq 0\)
- 公式:
- 2×2 公式: $$ \begin{pmatrix}a&b\c&d\end{pmatrix}^{-1}=\dfrac{1}{ad-bc}\begin{pmatrix}d&-b\-c&a\end{pmatrix} $$
- 一般: 伴随矩阵法 \(A^{-1}=\dfrac{1}{\det A}\mathrm{adj}(A)\); 或增广 \([A\mid I]\xrightarrow{\text{行变换}}[I\mid A^{-1}]\)
- 数字锚点: $$ A=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$, \(\det A=-2\), $$ A^{-1}=-\tfrac{1}{2}\begin{pmatrix}-1&-1\-1&1\end{pmatrix}=\tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$
必考项 · \(P^{-1}\) 三步手算 (2×2 主线):
对 $$ P=\begin{pmatrix}a&b\c&d\end{pmatrix} $$, 一分钟出答案:
Step 1 · 算行列式: \(\det P = ad-bc\)。若 \(=0\) 立即停 (不可逆)。
Step 2 · 主对调 + 副变号: 主对角 \(a,d\) 互换, 副对角 \(b,c\) 各变号, 得 $$ \begin{pmatrix}d&-b\-c&a\end{pmatrix} $$。
Step 3 · 除行列式: $$ P^{-1}=\dfrac{1}{ad-bc}\begin{pmatrix}d&-b\-c&a\end{pmatrix} $$。
数字例: $$ P=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$。Step 1: \(\det=-2\)。Step 2: $$ \begin{pmatrix}-1&-1\-1&1\end{pmatrix} $$。Step 3: $$ P^{-1}=\tfrac{1}{-2}\begin{pmatrix}-1&-1\-1&1\end{pmatrix}=\tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$。
验算: $$ PP^{-1}=\begin{pmatrix}1&1\1&-1\end{pmatrix}\cdot\tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix}=\tfrac{1}{2}\begin{pmatrix}2&0\0&2\end{pmatrix}=I $$ ✓
备注 (3×3 及以上): 走高斯-约当增广法 \([A\mid I]\to[I\mid A^{-1}]\), 完整算例见 Ch03 §03 矩阵运算 (LU 分解一节先做行变换, 再"顺便"读出 \(A^{-1}\))。2×2 场景考试直接用上述三步, 不要在 2×2 上跑增广。
- 性质: \((AB)^{-1}=B^{-1}A^{-1}\) (顺序反!); \((A^\top)^{-1}=(A^{-1})^\top\)
- 典型题型: 手算 2×2 逆; 判 $$ \begin{pmatrix}2&4\1&2\end{pmatrix} $$ 可逆吗 (否, 秩 1); 由 \((AB)^{-1}\) 求 \(A^{-1}\)
- 易错点: \((AB)^{-1}\) 顺序颠倒 (记"穿脱鞋定律": 先穿的后脱); 对奇异阵求逆; Step 2 忘了副对角变号
- 连接: 承 Ch01 §05 — \(P^{-1}\) 就是这里的"逆矩阵", 首次给出"\(P^{-1}\) 怎么算"的完整入门路径
🔴考频 · 考点 6: 矩阵乘法 (行乘列 + 不交换) 难度 🟡 L3¶
- 出处: §3
- 公式: \(C_{ij}=\sum_{k=1}^n A_{ik}B_{kj}\); 内部维度 \(n\) 必须匹配
- 数字锚点: $$ \begin{pmatrix}1&2\3&4\end{pmatrix}\begin{pmatrix}5\6\end{pmatrix}=5\begin{pmatrix}1\3\end{pmatrix}+6\begin{pmatrix}2\4\end{pmatrix}=\begin{pmatrix}17\39\end{pmatrix} $$
- 三视角: (a) 每个元素 = 行 · 列点积; (b) \(A\mathbf x\) = \(A\) 的列的加权和, 权重 = \(\mathbf x\) 分量; (c) \(AB\) 每列 = \(A\) 对 \(B\) 相应列做的加权和
- 性质: 不交换 \(AB\neq BA\) (一般); 结合 \((AB)C=A(BC)\); 分配 \(A(B+C)=AB+AC\); 单位元 \(AI=IA=A\)
- 典型题型: 给 2×3 与 3×2 相乘; 验证 \(AB\neq BA\) 具体反例; 用"列加权和"视角解释神经网络一层 \(A\mathbf x+\mathbf b\)
- 易错点: 维度写反 (\(m\times n\) 与 \(n\times p\) 内 \(n\) 匹配, 结果是 \(m\times p\)); 把 Hadamard 积当矩阵乘
🔴考频 · 考点 7: 特殊矩阵类型 (对角/对称/正交/三角/置换) 难度 🟢 L2¶
- 出处: §2
- 速查表: | 类型 | 定义 | 关键性质 | |---|---|---| | 对角 \(D\) | 非对角元全 0 | \(D\mathbf x\) = 分量独立缩放 | | 对称 \(S\) | \(S=S^\top\) | 特征向量正交, 特征值实, 谱定理适用 | | 正交 \(Q\) | \(Q^\top Q=I\) | \(Q^{-1}=Q^\top\), 保长保角, \(\det=\pm 1\) | | 上/下三角 | 一侧全 0 | \(\det\) = 对角元乘积, 求解用前/回代 | | 置换 \(P\) | 单位阵重排行 | \(P^\top P=I\), 打乱分量 |
- 数字锚点: 旋转 90° 矩阵 $$ R=\begin{pmatrix}0&-1\1&0\end{pmatrix} $$ 是正交阵, \(R^\top R=I\), \(\det R=1\)
- 典型题型: 判 $$ \begin{pmatrix}0&1\1&0\end{pmatrix} $$ 是否正交 (是, 且是反射); 给对角阵求逆 = 对角元取倒数
- 易错点: 把"上三角"和"下三角"记反; 置换矩阵的逆 = 其转置
🔴考频 · 考点 8: 线性变换公理 (两条独立公理 + 一个推论, 全章模板锚点) 难度 🟢 L2¶
- 出处: §4
- 定义: \(T:V\to W\) 是线性映射, 当且仅当同时满足两条独立公理 (加性 + 齐次); 零映射 \(T(\mathbf 0)=\mathbf 0\) 是它们的推论, 但作快速筛查最有效。
公理 1 · 加性 (additivity) [独立公理]: 两向量分别变换后再加, 等于加起来再变换。
\(T(\mathbf u+\mathbf v)=T(\mathbf u)+T(\mathbf v)\)
反例: 取 \(T(x)=x+1\) (一维仿射变换)。\(T(1)+T(2)=2+3=5\), 但 \(T(1+2)=T(3)=4\)。\(5\neq 4\), 加性挂了 — 所以仿射变换不是线性变换。
公理 2 · 齐次 (homogeneity) [独立公理]: 先缩放再变换, 等于先变换再缩放。
\(T(c\mathbf u)=c\,T(\mathbf u)\)
反例: 取 \(T(\mathbf v)=\|\mathbf v\|_2\) (取模长)。\(T(2\cdot(1,0))=T(2,0)=2\), \(2\cdot T(1,0)=2\cdot 1=2\), 看似 OK; 但 \(T(-1\cdot(1,0))=T(-1,0)=1\), \(-1\cdot T(1,0)=-1\), \(1\neq -1\)。齐次挂了。
推论 · 零映射 (zero preservation) [由齐次推出, 非独立公理]: 零向量必然映到零向量。
\(T(\mathbf 0)=\mathbf 0\)
推导: 由齐次取 \(c=0\), \(T(0\cdot \mathbf u)=0\cdot T(\mathbf u)=\mathbf 0\), 故 \(T(\mathbf 0)=\mathbf 0\)。
反例应用 (筛查用): \(T(x,y)=(x+1,y)\) 使 \(T(0,0)=(1,0)\neq \mathbf 0\)。零向量没保住, 直接排除线性 — 作快速否定题最经济。
- 数字锚点: \(T(\mathbf v)=A\mathbf v\) (任意矩阵乘) 都是线性变换; \(T(\mathbf v)=\mathbf v+\mathbf b\) (\(\mathbf b\neq\mathbf 0\)) 不是。
- 典型题型: 判 \(T(x,y)=(x,x^2)\) 是否线性 (否, \(x^2\) 破坏齐次: \(T(2,0)=(2,4)\) 但 \(2T(1,0)=(2,2)\)); 每个 \(m\times n\) 矩阵定义一个 \(\mathbb R^n\to\mathbb R^m\) 的线性变换, 反之亦然
- 易错点: 把"仿射" (加常数) 当线性; 把零映射当独立公理去证 (它是齐次的推论); 只查一条公理就下结论
- 连接: Ch01 §01 向量空间十公理是"空间自身"的规则, 这里两条公理是"空间之间映射"的规则
🔴考频 · 考点 9: 常见 2D 变换矩阵 难度 🟡 L3¶
- 出处: §4
- 速查: | 变换 | 矩阵 | \(\det\) | 类型 | |---|---|---|---| | 旋转 \(\theta\) | $$ \begin{pmatrix}\cos\theta&-\sin\theta\\sin\theta&\cos\theta\end{pmatrix} $$ | \(+1\) | 正交 | | 沿 \(x\) 反射 | $$ \begin{pmatrix}1&0\0&-1\end{pmatrix} $$ | \(-1\) | 正交 | | 缩放 | $$ \begin{pmatrix}s_x&0\0&s_y\end{pmatrix} $$ | \(s_xs_y\) | 对角 | | 水平错切 | $$ \begin{pmatrix}1&k\0&1\end{pmatrix} $$ | \(1\) | 上三角 | | 到 \(x\) 轴投影 | $$ \begin{pmatrix}1&0\0&0\end{pmatrix} $$ | \(0\) | 秩 1 |
- 数字锚点: 旋转 90°: \((1,0)\mapsto(0,1)\); 沿 \(x\) 反射: \((3,2)\mapsto(3,-2)\); 水平错切 \(k=1\): \((1,1)\mapsto(2,1)\)
- 典型题型: 给两向量变换前后位置, 反推矩阵 (两列 = \(\hat{\mathbf i},\hat{\mathbf j}\) 变换后落点); 判"旋转 30° 后再水平错切" \(\neq\) "先错切再旋转" (乘法不交换)
- 易错点: 复合变换顺序: \(T_2\circ T_1\) 的矩阵 = \(A_2A_1\) (先施加的写在右边); 投影矩阵不可逆 (\(\det=0\))
- 连接: 承 Ch01 §04 投影公式 \(\mathrm{proj}_{\mathbf b}(\mathbf a)\) → 这里矩阵化
🔴考频 · 考点 10: 核 (Ker) 与像 (Im) 难度 🟡 L4¶
- 出处: §4
- 定义: \(\mathrm{Ker}(A)=\{\mathbf x: A\mathbf x=\mathbf 0\}\) (零空间); \(\mathrm{Im}(A)=\{A\mathbf x: \mathbf x\in\mathbb R^n\}\) (列空间)
- 数字锚点: $$ A=\begin{pmatrix}1&2\2&4\end{pmatrix} $$, \(\mathrm{Ker}(A)=\mathrm{span}\{(2,-1)^\top\}\) (1 维), \(\mathrm{Im}(A)=\mathrm{span}\{(1,2)^\top\}\) (1 维)
- 典型题型: 求 \(A\) 的核与像的基; 用秩-零度验证 \(\dim\mathrm{Ker}+\dim\mathrm{Im}=n\); 判 \(A\mathbf x=\mathbf b\) 是否有解 (⇔ \(\mathbf b\in\mathrm{Im}(A)\))
- 易错点: \(\mathrm{Ker}\) 在定义域, \(\mathrm{Im}\) 在值域, 两个空间维度不同别混淆
- 连接: Ch01 §01 子空间判定 → Ker 和 Im 都是子空间
🔴考频 · 考点 11: 特征值与特征向量 难度 🟡 L4¶
- 出处: §5
- 定义: \(A\mathbf x=\lambda\mathbf x\) (\(\mathbf x\neq\mathbf 0\)); \(\lambda\) 是特征值, \(\mathbf x\) 是特征向量
- 数字锚点: $$ A=\begin{pmatrix}3&1\0&2\end{pmatrix} $$, \((1,0)^\top\) 是特征向量, \(\lambda_1=3\); 解 \(\det(A-\lambda I)=0\) 得 \(\lambda_2=2\)
- 算法: 特征多项式 \(\det(A-\lambda I)=0\) 求 \(\lambda\); 代回 \((A-\lambda I)\mathbf x=\mathbf 0\) 求 \(\mathbf x\)
- 关键性质: \(\mathrm{tr}(A)=\sum \lambda_i\); \(\det(A)=\prod \lambda_i\); 对称阵特征值全实且特征向量两两正交; 正定阵特征值全正
必考项 · 2×2 特征值完整闭环 (五步法):
取 $$ A=\begin{pmatrix}2&1\1&2\end{pmatrix} $$ 为主线, 一次跑完全流程:
Step 1 · 列特征多项式: $$ \det(A-\lambda I)=\det\begin{pmatrix}2-\lambda&1\1&2-\lambda\end{pmatrix}=(2-\lambda)^2-1 $$。
Step 2 · 解方程: \((2-\lambda)^2=1 \Rightarrow 2-\lambda=\pm 1 \Rightarrow \lambda_1=3,\ \lambda_2=1\)。
Step 3 · 迹/行列式验算: \(\mathrm{tr}(A)=4=3+1\) ✓; \(\det A=3=3\cdot 1\) ✓ (关键防错: 两条都对才继续)。
Step 4 · 求特征向量 (代回 \((A-\lambda I)\mathbf x=\mathbf 0\)): - \(\lambda_1=3\): $$ \begin{pmatrix}-1&1\1&-1\end{pmatrix}\mathbf x=\mathbf 0 \Rightarrow x_1=x_2 \Rightarrow \mathbf v_1=(1,1)^\top $$ - \(\lambda_2=1\): $$ \begin{pmatrix}1&1\1&1\end{pmatrix}\mathbf x=\mathbf 0 \Rightarrow x_1=-x_2 \Rightarrow \mathbf v_2=(1,-1)^\top $$
Step 5 · 组装对角化 (承考点 12 的入口): $$ P=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$, $$ P^{-1}=\tfrac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$ (三步手算见考点 5), $$ D=\begin{pmatrix}3&0\0&1\end{pmatrix} $$, 验 \(P^{-1}AP=D\) ✓。
闭环收益: 五步一气呵成, 从"特征值是什么" → "怎么算" → "怎么验" → "怎么对角化"。考试遇 2×2 特征题, 直接套此模板, 不要跳步 (Step 3 迹/行列式验算尤其重要, 能拦下 80% 计算错误)。
- 典型题型: 2×2/3×3 手算特征值; 判正定 (⇔ 所有 \(\lambda_i>0\)); 由 \(\mathrm{tr}\) 与 \(\det\) 反求 \(\lambda\)
- 易错点: 忘 \(\mathbf x\neq\mathbf 0\) (零向量不算特征向量); 把 "特征值 0" 与 "无特征值" 混同 (\(\lambda=0\) 意味着 \(A\) 奇异, 但仍是特征值); Step 4 代错 \(\lambda\) 后不做验算
- 连接: 承 Ch01 §05 基变换 — 特征向量给出一组"最自然的基", 在该基下 \(A\) 变成对角阵 (下一考点 12 的入口)
🔴考频 · 考点 12: 相似矩阵 \(\tilde A=P^{-1}AP\) 与可对角化 难度 🔴 L4¶
- 出处: §5
- 核心口诀: "\(P\) 的列是新基, \(P\) 把新坐标搬回旧描述。" (第 3 次显式回引 Ch01 §05)
- 相似定义: \(A\sim \tilde A\) 当且仅当存在可逆 \(P\) 使 \(\tilde A=P^{-1}AP\)
- 可对角化: \(A\) 可对角化 ⇔ 存在可逆 \(P\) 使 \(P^{-1}AP=D\) (对角); \(P\) 的列 = \(A\) 的特征向量, \(D\) 的对角元 = 对应特征值
- 数字锚点: $$ A=\begin{pmatrix}3&1\0&2\end{pmatrix} $$, 特征向量 \(\mathbf v_1=(1,0)^\top\) (\(\lambda_1=3\)), \(\mathbf v_2=(1,-1)^\top\) (\(\lambda_2=2\))。$$ P=\begin{pmatrix}1&1\0&-1\end{pmatrix} $$, $$ P^{-1}=\begin{pmatrix}1&1\0&-1\end{pmatrix} $$, $$ P^{-1}AP=\begin{pmatrix}3&0\0&2\end{pmatrix} $$ ✓
- 相似不变量: 迹、行列式、秩、特征值、特征多项式 (但特征向量会变: 在新基下坐标 = \(P^{-1}\mathbf v_{旧}\))
- 典型题型: 判 $$ \begin{pmatrix}1&1\0&1\end{pmatrix} $$ 是否可对角化 (否, 只有 1 个线性无关特征向量); 给 \(A\) 求 \(A^{10}\) (用 \(A=PDP^{-1}\), \(A^{10}=PD^{10}P^{-1}\))
- 易错点: 把 \(\tilde A=P^{-1}AP\) 写成 \(PAP^{-1}\); 认为所有矩阵都可对角化 (非对称、特征值有几何重数 < 代数重数则不可)
- 连接: Ch01 §05 基变换 → 相似变换 = "同一个变换在不同基下的表现"
🔴考频 · 考点 13: 谱定理 (对称阵可正交对角化) 难度 🔴 L5¶
- 出处: §5
- 陈述: 实对称阵 \(S\) 一定可写为 \(S=Q\Lambda Q^\top\), 其中 \(Q\) 正交 (列为特征向量), \(\Lambda\) 对角
- 数字锚点: $$ S=\begin{pmatrix}2&1\1&2\end{pmatrix} $$, \(\lambda_1=3,\mathbf q_1=\tfrac{1}{\sqrt 2}(1,1)^\top\); \(\lambda_2=1,\mathbf q_2=\tfrac{1}{\sqrt 2}(1,-1)^\top\); $$ Q=\tfrac{1}{\sqrt 2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$, \(Q^\top S Q=\mathrm{diag}(3,1)\)
- 典型题型: 判 $$ \begin{pmatrix}0&1\-1&0\end{pmatrix} $$ (反对称) 能否谱分解 (在实数域不能, 特征值 ±i); PCA 就是对协方差矩阵做谱分解
- 易错点: 把谱定理用到非对称阵; 忘 \(Q^{-1}=Q^\top\) (因 \(Q\) 正交)
- 连接: 相似 \(\tilde A=P^{-1}AP\) 特殊到 \(Q^\top AQ\); Ch04 SVD 的基础
🔴考频 · 考点 14: SVD (奇异值分解) 难度 🔴 L4¶
- 出处: §5
- 定义: 任意 \(m\times n\) 矩阵 \(A=U\Sigma V^\top\), 其中 \(U\) 是 \(m\times m\) 正交阵, \(V\) 是 \(n\times n\) 正交阵, \(\Sigma\) 是 \(m\times n\) 对角阵 (对角元 = 奇异值 \(\sigma_i\ge 0\))
- 数字锚点: $$ A=\begin{pmatrix}3&0\0&2\0&0\end{pmatrix} $$ 已是 SVD 形式, 奇异值 \(\sigma_1=3,\sigma_2=2\)
- 与特征分解关系: \(\sigma_i^2\) = \(A^\top A\) (或 \(AA^\top\)) 的特征值; \(V\) 的列 = \(A^\top A\) 的特征向量; \(U\) 的列 = \(AA^\top\) 的特征向量
- 秩 1 分解: \(A=\sum_{i=1}^r \sigma_i \mathbf u_i \mathbf v_i^\top\) (承 §3 外积秩 1 一句"任何矩阵都是秩 1 外积和" — 这里兑现)
- 典型题型: 求 $$ A=\begin{pmatrix}1&0\0&0\end{pmatrix} $$ 的 SVD; 用 SVD 做低秩近似; SVD 与 PCA 关系
- 易错点: 奇异值 vs 特征值区别 (见 §四 对比表); 忘"任意矩阵都有 SVD"包括非方阵
- 连接: 承 §3 外积、§5 特征分解, Ch03 会讲 Moore-Penrose 伪逆 \(A^+=V\Sigma^+U^\top\)
🔴考频 · 考点 15: LU / QR / Cholesky 分解 难度 🟡 L3¶
- 出处: §5
- 速查: | 分解 | 形式 | 适用 | 用途 | |---|---|---|---| | LU | \(A=LU\) (或 \(PLU\)) | 任意方阵 | 解 \(A\mathbf x=\mathbf b\) (前代 + 回代) | | QR | \(A=QR\), \(Q\) 正交 \(R\) 上三角 | 任意 \(m\times n\) (\(m\ge n\)) | 最小二乘、Gram-Schmidt | | Cholesky | \(A=LL^\top\) | 对称正定 | 比 LU 快 2×, 正定检测器 |
- 数字锚点 (Cholesky): $$ \begin{pmatrix}4&2\2&5\end{pmatrix}=\begin{pmatrix}2&0\1&2\end{pmatrix}\begin{pmatrix}2&1\0&2\end{pmatrix} $$
- 典型题型: 手算 2×2 Cholesky; 用 LU 求 \(A^{-1}\) (解 \(n\) 个 \(A\mathbf x_i=\mathbf e_i\)); QR 做最小二乘 \(\min\|A\mathbf x-\mathbf b\|_2\)
- 易错点: Cholesky 只适用对称正定; QR 的 \(R\) 是上三角 (记"R" = right upper)
🔴考频 · 考点 16: 识别他人错误陈述 (L5 评价层专项) 难度 🔴 L5¶
见 §五 详解, 覆盖 6 个高频靶子
🟡考频 · 考点 17: 矩阵范数 (Frobenius/谱/核) 难度 🟡 L3¶
出处 §1 · \(\|A\|_F=\sqrt{\sum a_{ij}^2}=\sqrt{\mathrm{tr}(A^\top A)}\); 谱范数 \(\|A\|_2=\sigma_{\max}\); 核范数 \(\|A\|_*=\sum \sigma_i\) · 数字例: \(\|I_2\|_F=\sqrt 2\), \(\|I_2\|_2=1\) · 易错: Frobenius 类比向量 \(L^2\) 是"元素平方和开根"; 谱范数需要 SVD
🟡考频 · 考点 18: 正定 / 半正定 难度 🟡 L3¶
出处 §1, §2 · 定义: 对所有 \(\mathbf x\neq\mathbf 0\), \(\mathbf x^\top A\mathbf x>0\) (正定) 或 \(\ge 0\) (半正定) · 等价判据: 对称阵所有特征值 > 0 (或 \(\ge 0\)); Cholesky 分解成功 · 数字例: $$ \begin{pmatrix}2&1\1&2\end{pmatrix} $$ 特征值 \(\{3,1\}\) 正定; $$ \begin{pmatrix}1&1\1&1\end{pmatrix} $$ 特征值 \(\{2,0\}\) 半正定但非正定 · 易错: 只查对角元正 (必要非充分)
🟡考频 · 考点 19: 条件数与数值稳定 难度 🟡 L3¶
出处 §1 · \(\kappa(A)=\|A\|\cdot\|A^{-1}\|=\sigma_{\max}/\sigma_{\min}\) · 大条件数 = 病态, 输入小扰动使解爆炸 · 数字例: 希尔伯特矩阵 \(H_5\) 条件数 \(\sim 10^5\) · 易错: 把条件数与行列式混同 (行列式小 ≠ 病态, 例如 \(0.001 I\) 行列式很小但完美良态)
🟡考频 · 考点 20: Hadamard 积 vs 矩阵乘法 难度 🟢 L2¶
出处 §3 · \(A\odot B\) 逐元素乘, 要求同尺寸, 满足交换律 · 数字例: $$
\begin{pmatrix}1&2\3&4\end{pmatrix}\odot\begin{pmatrix}5&6\7&8\end{pmatrix}=\begin{pmatrix}5&12\21&32\end{pmatrix}
$$ · 用途: 神经网络门控 (LSTM, attention mask) · 易错: 与矩阵乘法记号混淆 (Python 中 * 是 Hadamard, @ 是矩阵乘)
🟡考频 · 考点 21: 外积 \(\mathbf u\mathbf v^\top\) 与秩 1 结构 难度 🟡 L3¶
出处 §3 · 数字例: $$ \begin{pmatrix}1\2\3\end{pmatrix}(4,5)=\begin{pmatrix}4&5\8&10\12&15\end{pmatrix} $$ 秩 1 · 任意矩阵 = 若干秩 1 外积之和 (SVD 兑现) · 易错: 与内积 \(\mathbf u^\top\mathbf v\) (标量) 混
🟡考频 · 考点 22: 正交矩阵的两条恒等式 难度 🟡 L3¶
出处 §2, §4 · \(Q^\top Q=QQ^\top=I\) ⇒ \(Q^{-1}=Q^\top\); \(\det Q=\pm 1\); \(\|Q\mathbf x\|_2=\|\mathbf x\|_2\) (保长) · 数字例: 旋转矩阵行列式 = +1, 反射矩阵行列式 = -1 · 易错: 把"正交阵"和"正交向量组"混; 正交 ≠ 单位, 但正交阵的列必须单位化
🟡考频 · 考点 23: Kronecker 积 \(A\otimes B\) 难度 🟡 L4¶
出处 §3 · 定义: 每个 \(a_{ij}\) 替换成 \(a_{ij}B\) · 数字例: $$ \begin{pmatrix}1&2\end{pmatrix}\otimes\begin{pmatrix}3\4\end{pmatrix}=\begin{pmatrix}3&6\4&8\end{pmatrix} $$ · 性质: \((A\otimes B)(C\otimes D)=(AC)\otimes(BD)\) · 用途: 张量方程向量化 · 易错: 与 Hadamard 积混; Kronecker 结果尺寸是 \(mp\times nq\)
🟡考频 · 考点 24: 块矩阵求逆 难度 🔴 L5¶
出处 §3 ⭐ · $$ \begin{pmatrix}A&B\C&D\end{pmatrix}^{-1} $$ 用 Schur 补 · 用途: 分布式求解、Bayesian 更新
🟡考频 · 考点 25: Cayley-Hamilton 定理 难度 🔴 L5 ⭐¶
出处 §5 · 每个方阵满足自己的特征多项式 · 用途: 高次幂 \(A^n\) 化简
🟢考频 · 考点 26: Toeplitz / 循环矩阵与 DFT 难度 🔴 L5 ⭐¶
出处 §2 · 循环矩阵在傅里叶基下对角化 · 用途: 卷积 = 循环矩阵乘
🟢考频 · 考点 27: Moore-Penrose 伪逆 \(A^+\) 难度 🔴 L5¶
出处 §5 · 定义: \(A=U\Sigma V^\top\) ⇒ \(A^+=V\Sigma^+U^\top\) (\(\Sigma^+\) 把非零奇异值取倒数) · 用途: 最小二乘的解 \(\mathbf x^*=A^+\mathbf b\) · 与逆的关系: \(A\) 可逆时 \(A^+=A^{-1}\)
🟢考频 · 考点 28: 迹 = Frobenius 内积 难度 🟡 L3¶
出处 §1, §3 · \(\langle A,B\rangle_F=\mathrm{tr}(A^\top B)\) · 承 Ch01 §04 内积 → 矩阵空间也有内积
🟢考频 · 考点 29: CSR 稀疏格式 难度 🟢 L2¶
出处 §3 · 存 values / column indices / row offsets 三份数组 · 用途: 大规模稀疏矩阵 (社交图邻接、稀疏 embedding)
🟢考频 · 考点 30: Jordan 标准形 难度 🔴 L6 ⭐¶
出处 §5 · 不可对角化矩阵的规范表示 · 期末/考研一般不深入, 了解存在性即可
三、易错点合集 (症状 → 为何错 → 如何避坑)¶
| # | 易错症状 | 为何错 | 如何避坑 |
|---|---|---|---|
| 1 | \(AB\) 与 \(BA\) 混用 | 矩阵乘不交换 | 每次写 \(AB\) 都在旁标"注意顺序"; 复合变换"后施加者写左边" |
| 2 | \((AB)^{-1}=A^{-1}B^{-1}\) | 顺序反了 | 记"穿脱鞋定律": \((AB)^{-1}=B^{-1}A^{-1}\) |
| 3 | 非方阵求逆 / 行列式 | 逆和 \(\det\) 仅对方阵 | 拿到矩阵先看 shape, \(m\neq n\) 直接不谈逆, 谈伪逆 |
| 4 | 满秩就以为可逆 | 满秩要求 = 方阵满秩 | "方阵 + 满秩" 才可逆; 长瘦矩阵满列秩 ≠ 可逆 |
| 5 | \(\det(A+B)=\det A+\det B\) | 行列式无加法性 | 只允许乘法拆: \(\det(AB)=\det A\det B\) |
| 6 | 相似公式写成 \(PAP^{-1}\) | 方向反 | 每次默念"\(P\) 列是新基, \(\tilde A=P^{-1}AP\)"; 用 Ch01 §05 口诀 |
| 7 | 认为所有矩阵都可对角化 | 需 \(n\) 个线性无关特征向量 | 例: $$ |
| \begin{pmatrix}1&1\0&1\end{pmatrix} | |||
| $$ 只有一个特征向量, 不可对角化, 走 Jordan | |||
| 8 | 谱定理用到非对称阵 | 谱定理 = 实对称阵专属 | 用前先查 \(A=A^\top\) |
| 9 | 把 SVD 和特征分解混同 | 特征分解仅方阵可对角化, SVD 任意矩阵 | 记"SVD 是万能的, 特征分解挑食" |
| 10 | 特征值 = 0 时判无特征值 | \(\lambda=0\) 是合法特征值 (意味 \(A\) 奇异) | 求特征多项式 \(\det(A-\lambda I)=0\) 允许 \(\lambda=0\) 是根 |
| 11 | 忘 \(\mathbf x\neq\mathbf 0\) | 零向量对任意 \(\lambda\) 都满足 \(A\mathbf 0=\lambda\mathbf 0\), 会退化 | 定义里必须显式排除 \(\mathbf 0\) |
| 12 | 正定只查对角元 > 0 | $$ | |
| \begin{pmatrix}1&2\2&1\end{pmatrix} | |||
| $$ 对角正但特征值 \(\{3,-1\}\) 非正定 | 用特征值或 Cholesky 检测 | ||
| 13 | 秩 = 行数或列数 | 秩 ≤ \(\min(m,n)\) | 先看 shape 定上界, 再算 |
| 14 | \(\|Q\mathbf x\|\neq\|\mathbf x\|\) | 正交阵保长, 应相等 | 验算时 \(\|Q\mathbf x\|^2=\mathbf x^\top Q^\top Q\mathbf x=\mathbf x^\top\mathbf x\) |
| 15 | 线性变换判定漏零映射筛查 | \(T(\mathbf 0)\neq\mathbf 0\) 直接不是线性 (虽是齐次推论, 但作筛查最快) | 判定第一步代 \(\mathbf 0\): 出不来 \(\mathbf 0\) 就否掉 |
| 16 | 仿射当线性 | \(T(\mathbf v)=A\mathbf v+\mathbf b\) 当 \(\mathbf b\neq\mathbf 0\) 不满足加性 | 见到 "+ 常数向量" 立刻警觉 |
| 17 | Hadamard 与矩阵乘符号混 | \(\odot\) vs 无符号并列 | Python 中确认 * 是 Hadamard, @ 是矩阵乘; 数学中 \(A\odot B\) vs \(AB\) 严格区分 |
| 18 | 复合变换顺序 | \(T_2\circ T_1\) 对应 \(A_2A_1\), 先施加的写右边 | 想象"输入从右边进入" |
| 19 | 投影矩阵可逆 | 投影抹掉一个维度, 秩 < \(n\) | 投影 \(P^2=P\) 但除 \(I\) 外都不可逆 |
| 20 | 迹 \(\mathrm{tr}(ABC)=\mathrm{tr}(ACB)\) | 循环只能整体轮换, 不能交换两个 | 记 \(\mathrm{tr}(ABC)=\mathrm{tr}(BCA)=\mathrm{tr}(CAB)\), 仅此三种 |
四、对比记忆表 (易混概念)¶
表 1: 逆 vs 伪逆¶
| 逆 \(A^{-1}\) | 伪逆 \(A^+\) (Moore-Penrose) | |
|---|---|---|
| 要求 | 方阵 + 满秩 | 任意 \(m\times n\) 矩阵 |
| 定义 | \(AA^{-1}=A^{-1}A=I\) | \(A=U\Sigma V^\top \Rightarrow A^+=V\Sigma^+U^\top\) |
| 关系 | 可逆时 \(A^{-1}=A^+\) | 广义 |
| 用途 | 精确解 \(A\mathbf x=\mathbf b\) | 最小二乘 \(\min\|A\mathbf x-\mathbf b\|_2\) |
表 2: 相似 vs 合同 vs 等价¶
| 相似 | 合同 (congruent) | 等价 | |
|---|---|---|---|
| 定义 | \(B=P^{-1}AP\) | \(B=P^\top A P\) | \(B=PAQ\) (\(P,Q\) 可逆) |
| 保留 | 特征值、迹、行列式、秩 | 惯性指数 (正/负特征值个数)、秩 | 秩 |
| 适用 | 方阵 | 对称阵 (二次型) | 任意 |
| 口诀 | "换基同一变换" | "换基同一二次型" | "行列变换同秩" |
表 3: 特征值 vs 奇异值¶
| 特征值 \(\lambda_i\) | 奇异值 \(\sigma_i\) | |
|---|---|---|
| 适用 | 方阵 | 任意 \(m\times n\) 矩阵 |
| 定义 | \(A\mathbf x=\lambda\mathbf x\) | \(A=U\Sigma V^\top\) 的对角元 |
| 可正可负 | 可 (甚至复数) | 恒非负 \(\sigma_i\ge 0\) |
| 与 \(A^\top A\) 关系 | 无直接 | \(\sigma_i^2\) = \(A^\top A\) 特征值 |
| 对称正定阵 | \(\lambda_i=\sigma_i\) | 两者相等 |
| 几何 | 变换在该方向的缩放系数 | 变换后的椭球半轴长 |
表 4: 矩阵乘 vs Hadamard vs 外积 vs Kronecker¶
| 记号 | 尺寸约束 | 结果尺寸 | 用途 | |
|---|---|---|---|---|
| 矩阵乘 | \(AB\) | \(A: m\times n, B: n\times p\) | \(m\times p\) | 复合变换、神经网络 |
| Hadamard | \(A\odot B\) | 同尺寸 \(m\times n\) | \(m\times n\) | 门控、掩码 |
| 外积 | \(\mathbf u\mathbf v^\top\) | \(\mathbf u: m, \mathbf v: n\) | \(m\times n\), 秩 1 | 秩 1 更新、SVD |
| Kronecker | \(A\otimes B\) | 任意 | \(mp\times nq\) | 张量方程 |
表 5: 常见方阵的性质速查¶
| 类型 | 行列式 | 逆 | 特征值 | 可对角化 |
|---|---|---|---|---|
| 对角 \(D\) | \(\prod d_i\) | \(\mathrm{diag}(1/d_i)\) | \(d_i\) | 已是对角形 |
| 三角 | \(\prod\) 对角 | 上/下三角 (若对角非零) | 对角元 | 未必 |
| 对称实 | \(\prod\lambda_i\) | 存在 (若非奇异) | 全实 | 是, 正交对角化 |
| 正交 | \(\pm 1\) | \(Q^\top\) | 模长 1 (复数) | 复数域内是 |
| 正定 | \(>0\) | 存在且正定 | 全正 | 是 |
| 投影 \(P^2=P\) | 0 (除 \(I\)) | 一般不存在 | 只能是 0 或 1 | 是 |
表 6: 五种分解一览¶
| 分解 | 形式 | 适用矩阵 | 主要用途 |
|---|---|---|---|
| LU | \(A=LU\) / \(PLU\) | 方阵 | 解线性方程组 |
| QR | \(A=QR\) | 任意 \(m\times n\) (\(m\ge n\)) | 最小二乘、Gram-Schmidt |
| Cholesky | \(A=LL^\top\) | 对称正定 | 快速求解、正定检测 |
| 特征分解 | \(A=PDP^{-1}\) | 可对角化方阵 | \(A^n\)、动力系统 |
| SVD | \(A=U\Sigma V^\top\) | 任意矩阵 | PCA、低秩近似、伪逆 |
五、识别他人错误陈述题型 (L5 评价层专项)¶
高分段常见题型: 指出错在哪 / 反例 / 修正三段作答。
题型 5.1 — 相似变换方向搞反
学生说: "\(A\) 在新基下的矩阵是 \(\tilde A=PAP^{-1}\)。" - 错在哪: 方向反了。全书统一约定 \(P\) 的列 = 新基旧坐标, 故 \(\tilde A=P^{-1}AP\)。 - 反例: 承开篇 2×2 数字例, \(A=\mathrm{diag}(3,1)\), $$ P=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$。若按学生公式, $$ PAP^{-1}=\begin{pmatrix}2&1\1&2\end{pmatrix} $$; 但真值 $$ P^{-1}AP=\begin{pmatrix}2&1\1&2\end{pmatrix} $$ — 巧合这里对称阵两个方向数值一样, 换个非对称 \(A\) 就露馅。 - 修正: 记 Ch01 §05 口诀 "\(P\) 把新坐标搬回旧描述", 相似公式 \(\tilde A=P^{-1}AP\) 与坐标公式 \(\mathbf v_{新}=P^{-1}\mathbf v_{旧}\) 一致。
题型 5.2 — 所有矩阵都可对角化
学生说: "只要求出特征值, 就能对角化任何方阵。" - 错在哪: 需要 \(n\) 个线性无关特征向量, 特征值有重数时未必够。 - 反例: $$ A=\begin{pmatrix}1&1\0&1\end{pmatrix} $$ 特征多项式 \((\lambda-1)^2=0\), \(\lambda=1\) (二重)。代回 \((A-I)\mathbf x=\mathbf 0\): $$ \begin{pmatrix}0&1\0&0\end{pmatrix}\mathbf x=\mathbf 0 $$, 只有 \((1,0)^\top\) 一个方向。1 个特征向量 < 2 阶, 不可对角化。 - 修正: 可对角化 ⇔ 每个特征值的几何重数 = 代数重数; 否则走 Jordan 标准形。
题型 5.3 — 对称阵的特征值可能复数
学生说: "实对称阵的特征值可能是复数, 只是通常算出来是实数。" - 错在哪: 谱定理严格保证实对称阵特征值必为实数。 - 修正: 证明思路: 设 \(A\mathbf x=\lambda\mathbf x\), 取共轭 \(\overline{\mathbf x}^\top A\mathbf x=\lambda\overline{\mathbf x}^\top\mathbf x\); 另一边 \(\overline{\mathbf x}^\top A\mathbf x=\overline{\lambda}\overline{\mathbf x}^\top\mathbf x\) (用 \(A=A^\top\) 实值); 得 \(\lambda=\overline\lambda\), 故实数。
题型 5.4 — 仿射当线性
学生说: "\(T(x,y)=(2x+1, y)\) 是线性变换, 因为它是矩阵形式。" - 错在哪: 破坏零映射公理。\(T(0,0)=(1,0)\neq\mathbf 0\), 直接排除线性。 - 反例: 加性也挂: \(T(1,0)+T(0,0)=(3,0)+(1,0)=(4,0)\), 但 \(T((1,0)+(0,0))=T(1,0)=(3,0)\), \((4,0)\neq(3,0)\)。 - 修正: 这叫仿射变换 = 线性 + 平移。写成 \(T(\mathbf v)=A\mathbf v+\mathbf b\), 只有 \(\mathbf b=\mathbf 0\) 才是线性。
题型 5.5 — 正交阵与对称阵混淆
学生说: "旋转矩阵是对称阵, 因为它是正交的。" - 错在哪: 正交 (\(Q^\top Q=I\)) 与对称 (\(S=S^\top\)) 是两个独立性质。 - 反例: 90° 旋转 $$ R=\begin{pmatrix}0&-1\1&0\end{pmatrix} $$, $$ R^\top=\begin{pmatrix}0&1\-1&0\end{pmatrix}\neq R $$, 不对称, 但 \(R^\top R=I\) 正交。 - 修正: "同时对称 + 正交" ⇔ \(Q^2=I\) ⇔ 反射 (含 \(I\) 与 \(-I\))。
题型 5.6 — 秩、行列式、可逆混同
学生说: "行列式很小的矩阵秩也很低, 数值上不可逆。" - 错在哪: 混淆 "行列式接近 0" 与 "条件数大"。\(0.001 I_3\) 行列式 \(=10^{-9}\) 极小, 但秩 3、条件数 1、良态可逆。 - 反例: \(10^{-3}I_3\) 完美良态; $$ \begin{pmatrix}1&1\1&1.001\end{pmatrix} $$ 行列式 \(0.001\) 但条件数 \(\sim 4000\), 病态。 - 修正: 数值可逆性看条件数 \(\kappa(A)=\sigma_{\max}/\sigma_{\min}\), 不看行列式绝对值。
六 · AI/ML 应用速查表 (概念 → 代码对应)¶
目的: 把 Ch02 抽象概念钉在 PyTorch / Transformer 常见调用上, 消除"学了不知道用在哪"。
表 A: 矩阵概念 ↔ PyTorch API 对应¶
| Ch02 概念 | PyTorch API / 代码 | 数学形式 | 一句话说明 |
|---|---|---|---|
| 矩阵-向量乘 \(A\mathbf x+\mathbf b\) | nn.Linear(in_features, out_features) |
\(\mathbf y=W\mathbf x+\mathbf b\), \(W:\text{out}\times\text{in}\) | 全连接层就是一次仿射变换 (线性 + 偏置) |
| 矩阵乘法 \(AB\) | torch.matmul(A,B) 或 A @ B |
\(C_{ij}=\sum_k A_{ik}B_{kj}\) | 复合两层线性变换 |
| Hadamard 积 \(A\odot B\) | A * B (逐元素) |
同尺寸逐元素乘 | LSTM 门控、attention mask |
| 转置 \(A^\top\) | A.T 或 A.transpose(-1,-2) |
\((A^\top)_{ij}=a_{ji}\) | QKV attention 里 \(QK^\top\) 那个转置 |
| 外积 \(\mathbf u\mathbf v^\top\) | torch.outer(u,v) |
秩 1 矩阵 | LoRA 低秩更新的原子块 |
| 逆 \(A^{-1}\) | torch.linalg.inv(A) |
\(AA^{-1}=I\) | 精确解方程 (数值上通常不直接求逆) |
| 伪逆 \(A^+\) | torch.linalg.pinv(A) |
\(A=U\Sigma V^\top\) 后取奇异值倒数 | 最小二乘解 \(\mathbf x^*=A^+\mathbf b\) |
| SVD | torch.linalg.svd(A) |
\(A=U\Sigma V^\top\) | 低秩近似、PCA 底层 |
| 特征分解 | torch.linalg.eig(A) |
\(A=PDP^{-1}\) | 谱分析、动力系统 |
| Cholesky | torch.linalg.cholesky(A) |
\(A=LL^\top\) | 高斯过程协方差、正定检测 |
| Frobenius 范数 | torch.linalg.norm(A, 'fro') |
\(\sqrt{\sum a_{ij}^2}\) | 权重衰减 \(\ell_2\) 正则 |
| 谱范数 | torch.linalg.norm(A, 2) |
\(\sigma_{\max}(A)\) | Lipschitz 约束、GAN 谱归一化 |
表 B: 三个 AI 场景的展开 (nn.Linear / LoRA / QKV Attention)¶
场景 1 · nn.Linear(d_in, d_out) = 矩阵-向量乘 + 偏置
内部:
weight是 \(W\in\mathbb R^{d_\text{out}\times d_\text{in}}\),bias是 \(\mathbf b\in\mathbb R^{d_\text{out}}\)。前向 \(\mathbf y=W\mathbf x+\mathbf b\)。Ch02 挂钩: - 考点 6 (矩阵乘 · 列的加权和视角): \(W\mathbf x=\sum_j x_j W_{:,j}\) — 输出是 \(W\) 的列的加权和, 权重就是输入 \(\mathbf x\) 的分量。 - 考点 3 (秩):
nn.Linear(1024, 1024)权重秩 ≤ 1024, 训练后往往接近满秩 (无信息瓶颈)。 - 考点 8 (线性映射): 若bias=False才严格线性; 带 bias 时是仿射, 破坏零映射推论 — 记住这点考试和面试都常问。
场景 2 · LoRA (Low-Rank Adaptation) = 外积 + 秩 \(r\) 加法
冻结预训练 \(W_0\in\mathbb R^{d\times d}\), 只学一个低秩更新 \(\Delta W=BA\), 其中 \(B\in\mathbb R^{d\times r}\), \(A\in\mathbb R^{r\times d}\), 秩 \(r\ll d\) (常见 \(r=8, 16\))。前向: \(\mathbf y=(W_0+BA)\mathbf x\)。
Ch02 挂钩: - 考点 14 (SVD · 秩 1 分解): \(BA=\sum_{i=1}^r \mathbf b_i \mathbf a_i^\top\) — LoRA 就是"任意矩阵 = 秩 1 外积之和"的近似版, 只取前 \(r\) 项。 - 考点 3 (秩): 参数量从 \(d^2\) 降到 \(2dr\), 秩 \(\le r\)。\(d=4096,r=8\) 时省 256×。 - 考点 21 (外积): \(\mathbf b_i \mathbf a_i^\top\) 是秩 1 外积, LoRA = 秩 \(r\) 外积和。
场景 3 · Transformer QKV Attention = 三次 nn.Linear + 缩放点积
\(Q=XW_Q\), \(K=XW_K\), \(V=XW_V\) (三次
nn.Linear); Attention \(=\mathrm{softmax}\!\left(\dfrac{QK^\top}{\sqrt{d_k}}\right)V\)。Ch02 挂钩: - 考点 6 (矩阵乘): \(QK^\top\) 是"每个 query 与每个 key 的点积", 结果矩阵每个元素是 Ch01 §04 内积。 - 考点 1 (转置): \(K^\top\) 就是这里的
.T, 让内维匹配 (query 和 key 都是 \(d_k\) 维)。 - 考点 20 (Hadamard vs 矩阵乘): attention mask 用mask * scores(Hadamard, 逐元素屏蔽), softmax 前的 scores 是矩阵乘 \(QK^\top\) — 两种乘法在同一行代码里各司其职。 - 考点 19 (条件数): \(\sqrt{d_k}\) 缩放是为控制点积方差, 避免 softmax 进饱和区 (类比控制条件数)。
表 C: 常见 AI 报错 ↔ Ch02 定位¶
| PyTorch 报错 | Ch02 定位 | 修法 |
|---|---|---|
RuntimeError: size mismatch, m1: [a,b], m2: [c,d] |
考点 6: \(b\neq c\) 内维不匹配 | 检查 A.shape[-1] == B.shape[-2] |
torch.linalg.inv: singular |
考点 5: \(\det=0\), 奇异 | 用 pinv 或加 \(\epsilon I\) 正则 |
cholesky: not positive-definite |
考点 18: 非正定 | 检查对称性 + 加 \(\epsilon I\) |
NaN in softmax(QK^T/sqrt(d)) |
考点 19: \(QK^\top\) 数值爆炸 (漏了缩放) | 确认 \(\sqrt{d_k}\) 缩放, 或用 log-softmax |
七、复习路径¶
3 天冲刺 (考前突击)¶
- Day 1 (重公式): 迹 / 秩 / 行列式 / 2×2 逆 / 矩阵乘法 · 手推 10 道计算题 · Ch01 §05 基变换口诀背熟
- Day 2 (重定义): 线性变换两条公理 + 一个推论 (加性/齐次为独立, 零映射为推论, 死记) · 特征值特征向量算法 · 相似 \(\tilde A=P^{-1}AP\) 方向 · 常见 2D 变换矩阵速查
- Day 3 (重综合): SVD / 谱定理 / 五种分解 · 对比记忆表全表 · §五 错误识别 6 题过一遍
7 天扎实 (期末标准)¶
- Day 1: §1 矩阵基本性质 (维度 / 转置 / 迹 / 秩 / 行列式) · 手算 5 题
- Day 2: §1 逆 + 条件数 + 矩阵范数 · 2×2 手算逆 5 题, 3×3 引用 Ch03 增广法
- Day 3: §2 特殊矩阵类型 (对角 / 对称 / 正交 / 三角) · 分类练习 8 题
- Day 4: §3 矩阵乘法 (三视角) + Hadamard + 外积 + Kronecker · 计算 10 题
- Day 5: §4 线性变换两条公理 + 一个推论 + 常见 2D 变换矩阵 · 判定题 + 复合变换 6 题
- Day 6: §5 特征值 + 相似 + 谱定理 · 手算 2×2/3×3 特征值 5 题
- Day 7: §5 SVD + LU/QR/Cholesky · 全章综合 · §五 错误识别全部过一遍 · 对比表 1-6 复盘
14 天精通 (考研 + 深度)¶
- Day 1-2: §1 所有性质 + 严格证明 \(\mathrm{tr}(AB)=\mathrm{tr}(BA)\) (不要求 \(AB=BA\)) + 秩 - 零度定理证明
- Day 3-4: §1 行列式性质推导 + 2×2/3×3 逆矩阵手算 + 高斯 - 约当增广法 (为 Ch03 铺垫)
- Day 5: §2 特殊矩阵完整分类 + Toeplitz/循环矩阵 ⭐ + 稀疏 CSR 格式
- Day 6-7: §3 三种乘法视角 + Hadamard/外积/Kronecker + \(O(n^3)\) 复杂度讨论
- Day 8: §4 线性变换两条公理 + 一个推论 严格证明 (推论 = 齐次取 \(c=0\)) + 核像 + 秩零度重推
- Day 9: §4 2D 变换矩阵全套 + 复合变换 + 齐次坐标 (为 CV/图形学铺垫)
- Day 10-11: §5 特征值特征向量 + 特征多项式 + 可对角化条件 + 相似不变量
- Day 12: §5 谱定理证明 + 对称阵正交对角化 + PCA 数学基础
- Day 13: §5 SVD 完整推导 + 低秩近似 (Eckart-Young 定理) + 伪逆 \(A^+\)
- Day 14: 综合 · LU/QR/Cholesky 手算 · §五 错误识别自命题 · 错题本回顾
八、自测清单 (10 问, 覆盖 Bloom L1-L5)¶
回答后对照本文考点检查:
- (L1 记忆) 写出线性变换的两条独立公理 (加性 / 齐次) 与一个推论 (零映射), 每条各配一个 2D 反例。说明为何零映射不是独立公理。
- (L2 理解) 说明 \(\mathrm{tr}(A)=\sum \lambda_i\) 与 \(\det(A)=\prod \lambda_i\) 的直觉。为什么迹与行列式都是"与基无关"的?
- (L3 应用) 手算 $$ A=\begin{pmatrix}2&1\1&3\end{pmatrix} $$ 的行列式、逆矩阵、特征值。
- (L3 应用) 对 $$ A=\begin{pmatrix}4&-2\1&1\end{pmatrix} $$, 求可逆 \(P\) 与对角 \(D\) 使 \(P^{-1}AP=D\)。写出你使用的口诀。
- (L3 应用) 给旋转 30° 与水平错切 \(k=1\) 两个矩阵, 分别计算 "先旋转再错切" 与 "先错切再旋转" 作用在 \((1,0)^\top\) 后的位置, 说明为何结果不同。
- (L4 分析) $$ A=\begin{pmatrix}1&2&3\2&4&6\3&6&9\end{pmatrix} $$ 的秩、\(\mathrm{Ker}(A)\) 的基、\(\mathrm{Im}(A)\) 的基分别是什么? 用秩 - 零度定理验证。
- (L4 分析) 为什么对称阵一定可正交对角化, 但反对称阵在实数域一般不能? 用 $$ \begin{pmatrix}0&1\-1&0\end{pmatrix} $$ 佐证。
- (L4 分析) 给出一个 2×2 矩阵, 它可逆但不可对角化。证明你的选择。
- (L5 评价) 一个学生说: "求出 \(A\) 的所有特征值就等于求出了 \(A\) 的 SVD, 因为 \(\sigma_i=|\lambda_i|\)。" 指出错在哪, 举反例, 给出正确关系。
- (L5 评价) 一个同学说: "既然基变换公式是 \(\mathbf v_{新}=P^{-1}\mathbf v_{旧}\), 那相似公式就应该是 \(\tilde A=P\cdot A\cdot P^{-1}\), 才能'撤销'基变换。" 用 Ch01 §05 口诀 + 一个 2×2 数字例反驳, 给出正确公式。
参考文件 (源材料相对路径):
- ../../第02章 - 矩阵/01. 矩阵的性质.md
- ../../第02章 - 矩阵/02. 矩阵类型.md
- ../../第02章 - 矩阵/03. 矩阵运算.md
- ../../第02章 - 矩阵/04. 线性变换.md
- ../../第02章 - 矩阵/05. 矩阵分解.md
- Ch01 §05 基变换回引: ../../第01章 - 向量/05. 基与对偶.md
- 全书写作规范: ../WRITING_TEMPLATE.md