Ch02 矩阵 — 44 张 Anki 闪卡¶

卡片 1 (定义) 🟢¶

Q: 什么是矩阵 (matrix)? A: 一格一格排成行与列的数字网格; $m \times n$ 矩阵有 $m$ 行 $n$ 列。若说向量是一列数字, 矩阵就是一摞向量堆起来。数字例: $$ A = \begin{pmatrix}1&2&3\4&5&6\end{pmatrix} $$ 是 $2\times 3$ 矩阵。提示: 一格一格排、行×列。来源: 01. 矩阵的性质 §定义

卡片 2 (符号首现) 🟢¶

Q: 记号 $A_{ij}$ 表示什么? A: 矩阵元素: $A$ 的第 $i$ 行、第 $j$ 列的元素 (标量)。数字例: $$ A = \begin{pmatrix}1&2\3&4\end{pmatrix} $$, 则 $A_{12}=2$, $A_{21}=3$。来源: 01. 矩阵的性质 §元素

卡片 3 (定义) 🟢¶

Q: 矩阵转置 $A^\top$ 怎么算? A: 行列互换: $(A^\top)_{ij} = A_{ji}$。$2\times 3$ 转置后变 $3\times 2$。数字例: $$ A=\begin{pmatrix}1&2&3\4&5&6\end{pmatrix} $$, $$ A^\top = \begin{pmatrix}1&4\2&5\3&6\end{pmatrix} $$。提示: 沿主对角线翻折。来源: 01. 矩阵的性质 §转置

卡片 4 (公式) 🟢¶

Q: 方阵的迹 $\mathrm{tr}(A)$ 定义是? A: 主对角线元素之和: $\mathrm{tr}(A)=\sum_i A_{ii}$。数字例: $$ A=\begin{pmatrix}1&2\3&4\end{pmatrix} $$, $\mathrm{tr}(A)=1+4=5$。性质: $\mathrm{tr}(AB)=\mathrm{tr}(BA)$ (即使 $AB\ne BA$)。来源: 01. 矩阵的性质 §迹

卡片 5 (直觉) 🟡¶

Q: 矩阵秩 (rank) 直观是什么? 举一个秩为 1 的 $2\times 2$ 例子。 A: 线性无关的行 (或列) 个数, 也是像空间的维数。数字例: $$ A=\begin{pmatrix}1&2\2&4\end{pmatrix} $$ 秩为 1 (第二行 = 2× 第一行)。满秩 $2\times 2$ 秩为 2, 可逆。来源: 01. 矩阵的性质 §秩

卡片 6 (公式) 🟢¶

Q: $2\times 2$ 矩阵行列式公式? A: $$ \det\begin{pmatrix}a&b\c&d\end{pmatrix} = ad-bc $$。数字例: $$ \det\begin{pmatrix}1&2\3&4\end{pmatrix}=1\cdot4-2\cdot3=-2 $$。几何意义: 变换后单位面积的缩放倍率 (带符号)。来源: 01. 矩阵的性质 §行列式

卡片 7 (易错点) 🟡¶

Q: 方阵可逆的三个等价条件? A: 以下三条互为等价: - $\det(A)\ne 0$ - $A$ 满秩 (rank = $n$) - $A\mathbf{x}=\mathbf{0}$ 只有平凡解 $\mathbf{x}=\mathbf{0}$

数字例: $$ \begin{pmatrix}1&2\2&4\end{pmatrix} $$ 行列式 = 0, 不可逆。来源: 01. 矩阵的性质 §逆

卡片 8 (直觉) 🟡¶

Q: 条件数 $\kappa(A)$ 反映什么? 大好还是小好? A: 输入扰动被放大的倍数, $\kappa(A)=\sigma_{\max}/\sigma_{\min}$ (最大/最小奇异值之比)。越小越稳定; $\kappa \gg 1$ 称病态 (ill-conditioned), 数值求解易爆。提示: 病态矩阵 → 一点噪声放大成灾。来源: 01. 矩阵的性质 §条件数

卡片 9 (定义) 🟢¶

Q: 单位矩阵 $I$ 有什么代数性质? A: 主对角线全 1、其余全 0 的方阵; 是矩阵乘法的"什么都不做"元: 对任何相容 $A$ 有 $AI=IA=A$。数字例: $$ I_2=\begin{pmatrix}1&0\0&1\end{pmatrix} $$。来源: 02. 矩阵类型 §单位矩阵

卡片 10 (定义) 🟢¶

Q: 对称矩阵 (symmetric matrix) 满足什么? 举例。 A: $A=A^\top$, 即 $A_{ij}=A_{ji}$。数字例: $$ S=\begin{pmatrix}3&-1\-1&6\end{pmatrix} $$。核心性质: (不同特征值对应的) 特征向量两两正交。协方差矩阵必对称。本卡仅实数域; 复数版本称 Hermitian $A^*=A$。提示: 限定"不同特征值"— 重根需在其特征子空间内选正交基。来源: 02. 矩阵类型 §对称

卡片 11 (定义) 🟡¶

Q: 正交矩阵 $Q$ 的定义与几何含义? A: 列向量两两正交且模长为 1, 等价于 $Q^\top Q = I$, 即 $Q^{-1}=Q^\top$。几何上: 保长度、保夹角的变换 (旋转 + 反射)。数字例: $$ Q=\begin{pmatrix}\cos\theta&-\sin\theta\\sin\theta&\cos\theta\end{pmatrix} $$。提示: $Q^\top$ 就是逆, 求逆免费。来源: 02. 矩阵类型 §正交

卡片 12 (类比) 🟢¶

Q: 对角矩阵为什么"高效"? A: $D=\mathrm{diag}(d_1,\dots,d_n)$ 乘向量等于每个分量独立缩放, $O(n)$ 而非 $O(n^2)$。数字例: $$ \begin{pmatrix}3&0\0&7\end{pmatrix}\begin{pmatrix}x\y\end{pmatrix}=\begin{pmatrix}3x\7y\end{pmatrix} $$。像 $n$ 个独立音量旋钮。来源: 02. 矩阵类型 §对角矩阵

卡片 13 (定义) 🟡¶

Q: 正定矩阵 (positive definite) 的定义? A: 对称矩阵 $A$ 满足: 对任意非零 $\mathbf{x}\ne\mathbf{0}$ 有 $\mathbf{x}^\top A\mathbf{x}>0$。等价条件: 所有特征值 $>0$。数字例: $$ \begin{pmatrix}2&0\0&3\end{pmatrix} $$ 正定; $$ \begin{pmatrix}1&0\0&-1\end{pmatrix} $$ 不是 (有负特征值)。来源: 02. 矩阵类型 §正定

卡片 14 (反例/易错) 🟡¶

Q: 判断 $$ A=\begin{pmatrix}1&2\2&1\end{pmatrix} $$ 是否正定? A: 不是。虽对称, 但特征值 $\lambda_1=3, \lambda_2=-1$, 含负值。等价验证: 取 $\mathbf{x}=(1,-1)^\top$, $\mathbf{x}^\top A\mathbf{x}=1-2-2+1=-2<0$。对称 ≠ 正定。提示: 对称只是必要非充分条件。来源: 02. 矩阵类型 §正定反例

卡片 15 (公式) 🟢¶

Q: 矩阵-向量乘法 $A\mathbf{x}$ 的列组合视角是? A: $A\mathbf{x}$ 等于 $A$ 各列以 $\mathbf{x}$ 分量为权的线性组合。数字例: $$\begin{pmatrix}1&2\\3&4\end{pmatrix}\begin{pmatrix}5\\6\end{pmatrix}=5\begin{pmatrix}1\\3\end{pmatrix}+6\begin{pmatrix}2\\4\end{pmatrix}=\begin{pmatrix}17\\39\end{pmatrix}$$ 神经网络每层核心操作。来源: 03. 矩阵运算 §矩阵-向量乘

卡片 16 (公式) 🟢¶

Q: $A$ ($m\times n$) 与 $B$ ($n\times p$) 相乘, 结果尺寸与元素公式? A: $C=AB$ 是 $m\times p$; 每个元素是点积 $$C_{ij}=\sum_{k=1}^n A_{ik}B_{kj}$$ 维度对不上 (中间维不等) 就无法相乘。数字例: $2\times 3$ 乘 $3\times 4$ 得 $2\times 4$。来源: 03. 矩阵运算 §矩阵乘法

卡片 17 (易错点) 🟡¶

Q: 为什么 $AB\ne BA$ 一般成立? 给一个 $2\times 2$ 反例。 A: 矩阵乘法不满足交换律 (先旋转再平移 ≠ 先平移再旋转)。反例: $$A=\begin{pmatrix}0&1\\0&0\end{pmatrix},\ B=\begin{pmatrix}0&0\\1&0\end{pmatrix}$$ $$ AB=\begin{pmatrix}1&0\0&0\end{pmatrix} $$, $$ BA=\begin{pmatrix}0&0\0&1\end{pmatrix} $$。来源: 03. 矩阵运算 §非交换

卡片 18 (定义) 🟡¶

Q: Hadamard 积 $A\odot B$ 与矩阵乘 $AB$ 有何区别? A: Hadamard = 逐元素相乘 $(A\odot B)_{ij}=A_{ij}B_{ij}$, 要求同型。数字例: $$ \begin{pmatrix}1&2\3&4\end{pmatrix}\odot\begin{pmatrix}5&6\7&8\end{pmatrix}=\begin{pmatrix}5&12\21&32\end{pmatrix} $$。矩阵乘则是行×列点积。深度学习 mask/gating 常用 Hadamard。来源: 03. 矩阵运算 §Hadamard

卡片 19 (定义) 🟡¶

Q: 外积 $\mathbf{u}\mathbf{v}^\top$ 的形状与秩? A: $\mathbf{u}\in\mathbb{R}^m, \mathbf{v}\in\mathbb{R}^n$, 外积是 $m\times n$ 矩阵, 秩恒为 1 (每列都是 $\mathbf{u}$ 的倍数)。数字例: $$ \begin{pmatrix}1\2\end{pmatrix}(3,4)=\begin{pmatrix}3&4\6&8\end{pmatrix} $$。SVD 把矩阵拆成秩 1 外积之和。来源: 03. 矩阵运算 §外积

卡片 20 (公理) 🟢¶

Q: 线性映射两条公理之一 — 加性是什么? 大白话 + 反例。 A: 加性 (Additivity): $T(\mathbf{u}+\mathbf{v})=T(\mathbf{u})+T(\mathbf{v})$。大白话: 先加再变 = 先变再加。反例: $T(\mathbf{x})=\mathbf{x}+\mathbf{c}$ ($\mathbf{c}\ne\mathbf{0}$)。取 $\mathbf{u}=\mathbf{v}=\mathbf{0}$: $T(\mathbf{0}+\mathbf{0})=\mathbf{c}$, 而 $T(\mathbf{0})+T(\mathbf{0})=2\mathbf{c}$ ≠ $\mathbf{c}$ — 平移不是线性映射。提示: 加性 + 齐次是两条独立公理; 保零点是它们的推论。来源: 04. 线性变换 §公理1

卡片 21 (公理) 🟢¶

Q: 线性映射两条公理之二 — 齐次性是什么? 大白话 + 反例。 A: 齐次 (Homogeneity): $T(c\mathbf{u})=cT(\mathbf{u})$, 对任意标量 $c$ 成立。大白话: 缩放向量 = 缩放结果。反例: $T(x)=x^2$。取 $c=2, u=1$: $T(2)=4$, 但 $2T(1)=2$ ≠ 4。平方运算破坏齐次性。提示: 加性 + 齐次可合并为一条: $T(a\mathbf{u}+b\mathbf{v})=aT(\mathbf{u})+bT(\mathbf{v})$。来源: 04. 线性变换 §公理2

卡片 22 (推论) 🟡¶

Q: 为什么线性映射必有 $T(\mathbf{0})=\mathbf{0}$ (保零点)? 它是公理还是推论? A: 是齐次性的推论, 不是独立公理。由齐次性令 $c=0$: $T(0\cdot\mathbf{u})=0\cdot T(\mathbf{u})=\mathbf{0}$, 即 $T(\mathbf{0})=\mathbf{0}$。用途: 一眼否定的必要条件。若 $T(\mathbf{0})\ne\mathbf{0}$, 立刻断定非线性; 反过来 $T(\mathbf{0})=\mathbf{0}$ 只是必要条件, 不充分 (如 $T(x)=x^2$)。反例: $T(x)=x+3$, $T(0)=3\ne 0$ — 平移/仿射把原点搬走, 违反保零点。提示: 术语用保零点, 别与"零映射"($T\equiv\mathbf{0}$) 混淆。来源: 04. 线性变换 §保零点推论

卡片 23 (直觉) 🟢¶

Q: 为什么 $2\times 2$ 矩阵的两列告诉你"整个变换"? A: 任意 $\mathbf{v}=v_1\hat{\imath}+v_2\hat{\jmath}$, 由线性性 $T(\mathbf{v})=v_1 T(\hat{\imath})+v_2 T(\hat{\jmath})$。矩阵第一列 = $T(\hat{\imath})$, 第二列 = $T(\hat{\jmath})$。数字例: $$ A=\begin{pmatrix}2&1\1&2\end{pmatrix} $$ 把 $\hat{\imath}=(1,0)^\top$ 送到 $(2,1)^\top$。来源: 04. 线性变换 §列即基像

卡片 24 (公式) 🟢¶

Q: 二维旋转矩阵 $R_\theta$ 的形式? A: 逆时针旋转 $\theta$: $$R_\theta=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$$ 性质: 正交且 $\det=1$, 保长保角。数字例: $\theta=90°$, $$ R=\begin{pmatrix}0&-1\1&0\end{pmatrix} $$, 把 $(1,0)^\top$ 送到 $(0,1)^\top$。来源: 04. 线性变换 §旋转

卡片 25 (定义) 🟡¶

Q: 线性变换的核 (kernel) 与像 (image) 分别是什么? A: - 核 $\ker(T)=\{\mathbf{x}:T(\mathbf{x})=\mathbf{0}\}$: 被压成零的输入集合 (即零空间) - 像 $\mathrm{im}(T)=\{T(\mathbf{x}):\mathbf{x}\in V\}$: 所有可能输出 (即列空间)

维度关系 (秩-零度定理): $\dim\ker + \dim\mathrm{im} = \dim V$。来源: 04. 线性变换 §核与像

卡片 26 (反例/易错) 🟡¶

Q: $T(x,y)=(x+1, y)$ 是线性变换吗? A: 不是。检查保零点: $T(0,0)=(1,0)\ne\mathbf{0}$。这是仿射变换 (平移), 违反加性与齐次性。要修成线性: 去掉常数项 $T(x,y)=(x,y)$ 或加入齐次坐标把平移嵌到 $3\times 3$ 矩阵里。提示: 带常数项 = 仿射, 不是线性。来源: 04. 线性变换 §反例

卡片 27 (直觉) 🟢¶

Q: 投影矩阵 $P$ 的幂等性指什么? A: $P^2=P$。几何: 投影一次已经落在目标子空间上, 再投影不动。数字例: $$ P=\begin{pmatrix}1&0\0&0\end{pmatrix} $$ 把任意 $(x,y)$ 压到 $x$ 轴的 $(x,0)$; 再投一次结果不变。来源: 04. 线性变换 §投影

卡片 28 (反例/易错) 🟡¶

Q: 判断 $T(\mathbf{x})=\|\mathbf{x}\|_2\cdot\mathbf{x}$ 是否线性映射? A: 不是, 违反齐次性。取 $c=2, \mathbf{x}=(1,0)^\top$: $T(2\mathbf{x})=T(2,0)=2\cdot(2,0)=(4,0)$, 而 $2T(\mathbf{x})=2\cdot 1\cdot(1,0)=(2,0)$。范数放大是非线性操作。来源: 04. 线性变换 §非线性反例

卡片 29 (公式) 🟡¶

Q: LU 分解形式与用途? A: $A=LU$, $L$ 下三角 (对角为 1)、$U$ 上三角。等价于把高斯消元记录下来。解 $A\mathbf{x}=\mathbf{b}$ 两步: 前代 $L\mathbf{y}=\mathbf{b}$, 回代 $U\mathbf{x}=\mathbf{y}$。$O(n^3)$ 一次分解, $O(n^2)$ 反复利用。来源: 05. 矩阵分解 §LU

卡片 30 (公式) 🟡¶

Q: QR 分解形式与用途? A: $A=QR$, $Q$ 正交 ($Q^\top Q=I$)、$R$ 上三角。经 Gram-Schmidt 或 Householder 构造。求最小二乘 $\min\|A\mathbf{x}-\mathbf{b}\|$: 解 $R\mathbf{x}=Q^\top\mathbf{b}$ (回代), 数值稳定优于正规方程。提示: $R$ 是上三角, 回代 $O(n^2)$; 不要显式算 $R^{-1}$ — 显式求逆放大误差。来源: 05. 矩阵分解 §QR

卡片 31 (定义) 🟡¶

Q: 特征值/特征向量方程是什么? A: $A\mathbf{v}=\lambda\mathbf{v}$, $\mathbf{v}\ne\mathbf{0}$。$\mathbf{v}$ 是特征向量, $\lambda$ 是特征值——变换只把 $\mathbf{v}$ 拉伸而不改方向。数字例: $$ A=\begin{pmatrix}2&0\0&3\end{pmatrix} $$, $\mathbf{v}=(1,0)^\top$ 对应 $\lambda=2$; $\mathbf{v}=(0,1)^\top$ 对应 $\lambda=3$。提示: 特征方向 = 变换不换方向的方向。来源: 05. 矩阵分解 §特征分解

卡片 32 (公式) 🔴¶

Q: 特征方程如何求 $\lambda$? A: 解 $\det(A-\lambda I)=0$。数字例: $$ A=\begin{pmatrix}2&1\1&2\end{pmatrix} $$, $(2-\lambda)^2-1=0 \Rightarrow \lambda=1, 3$。对应特征向量: $\lambda=3\to(1,1)^\top$, $\lambda=1\to(1,-1)^\top$。来源: 05. 矩阵分解 §特征方程

卡片 33 (公式) 🟡¶

Q: $2\times 2$ 逆矩阵手算公式? A: 若 $$ A=\begin{pmatrix}a&b\c&d\end{pmatrix} $$, 且 $\det(A)=ad-bc\ne 0$, 则 $$A^{-1}=\frac{1}{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$$ 口诀: 主对角调换, 副对角变号, 除以行列式。数字例: $$ A=\begin{pmatrix}1&2\3&4\end{pmatrix} $$, $\det=-2$, $$ A^{-1}=\begin{pmatrix}-2&1\1.5&-0.5\end{pmatrix} $$。提示: Ch01 §05 遗留断层, $3\times 3$ 见 Ch03 伴随/消元。来源: 05. 矩阵分解 §逆 (Ch01 断层补)

卡片 34 (直觉) 🟡¶

Q: $3\times 3$ 逆矩阵如何算? 一句话方法。 A: 手算三条路 — (a) 高斯-约当消元: $[A|I]\to[I|A^{-1}]$; (b) 伴随矩阵: $A^{-1}=\frac{1}{\det A}\mathrm{adj}(A)$, 需算 9 个余子式; (c) LU 分解后回代。教材编程通常用 LU 或 QR; 手算 $3\times 3$ 用 (a)。详细推导见 Ch03 §行列式与余子式。来源: 05. 矩阵分解 §逆 (引用 Ch03)

卡片 35 (公式) 🟡¶

Q: 相似变换公式是什么? $P$ 的方向约定? A: 若 $A$ 是旧基下的变换矩阵, 换到新基后: $$\tilde A = P^{-1}AP$$ 其中$P$ 的第 $j$ 列 = 新基向量 $\mathbf{b}_j$ 在旧基下的坐标。一句话口诀: "$P$ 的列是新基, $P$ 把新坐标搬回旧描述。" (承接 Ch01 §05) 提示: 别写反! 新 = $P^{-1}$ · 旧 · $P$。来源: 05. 矩阵分解 §基变换 (回引 Ch01 §05)

卡片 36 (公式) 🟡¶

Q: 用 2×2 数字例子验证 $\tilde A = P^{-1}AP$。 A: 旧基 $\mathbf{e}_1,\mathbf{e}_2$, 新基 $\mathbf{b}_1=(1,1), \mathbf{b}_2=(1,-1)$, 则 $$ P=\begin{pmatrix}1&1\1&-1\end{pmatrix} $$, $$ P^{-1}=\frac{1}{2}\begin{pmatrix}1&1\1&-1\end{pmatrix} $$。若 $$ A=\begin{pmatrix}2&0\0&2\end{pmatrix} $$ (纯伸缩), 则 $\tilde A = P^{-1}AP = 2I$ — 伸缩在任何基下都一样。来源: 05. 矩阵分解 §基变换数字例

卡片 37 (定义) 🔴¶

Q: SVD (奇异值分解) 的形式? A: 任意 $m\times n$ 实矩阵可分解为 $A=U\Sigma V^\top$: - $U$ ($m\times m$) 正交, 左奇异向量 - $\Sigma$ ($m\times n$) 对角, 非负奇异值 $\sigma_1\ge\sigma_2\ge\dots\ge 0$ - $V$ ($n\times n$) 正交, 右奇异向量

几何: 任意线性变换 = 旋转 → 缩放 → 旋转。PCA、低秩近似、伪逆都建在 SVD 上。来源: 05. 矩阵分解 §SVD

卡片 38 (类比) 🟡¶

Q: 用"整数分解"类比矩阵分解, 为什么值得? A: 12 = 3×4 比"12"多告诉你结构。矩阵 $A=LU$ 把复杂求逆拆成两个三角回代; $A=U\Sigma V^\top$ 把变换拆成"转-拉-转"。分解让 $O(n^3)$ 求逆变成 $O(n^2)$ 反复利用, 且暴露秩、条件数、主方向。来源: 05. 矩阵分解 §动机

卡片 39 (反例/易错) 🟡¶

Q: 判断"$L^1$ 范数天生稀疏"这种说法。 A: 说法错误。范数本身不诱导稀疏, 是优化目标里作为正则项时才让解落到坐标轴上。正确表述: "$L^1$ 正则化诱导稀疏解" — $\min \|A\mathbf{x}-\mathbf{b}\|_2^2 + \lambda\|\mathbf{x}\|_1$ 的最优解稀疏, 因为 $L^1$ 单位球是菱形, 顶点落在坐标轴。提示: 主角是正则化 + 目标, 不是范数。来源: 01. 矩阵的性质 §范数陷阱

卡片 40 (反例/易错) 🔴¶

Q: 判断"张量就是多维数组"这种说法。 A: 深度学习语境下大致对, 但要区分: 深度学习 tensor = 多维数组 (PyTorch/TF 的 Tensor); 数学 tensor = 多重线性映射, 与坐标系变换协变/逆变。首次出现须一句话区分, 避免混淆。ML 场景说"高维数组"更精确。提示: 同名不同物。来源: 03. 矩阵运算 §张量拓展 (术语区分)

卡片 41 (算例闭环) 🔴¶

Q: 对 $$ A=\begin{pmatrix}2&1\1&2\end{pmatrix} $$ 完整求解特征值 + 特征向量, 并用 $A\mathbf{v}=\lambda\mathbf{v}$ 验证。 A: 四步闭环: 1. 特征多项式: $$ \det(A-\lambda I)=\det\begin{pmatrix}2-\lambda&1\1&2-\lambda\end{pmatrix}=(2-\lambda)^2-1=\lambda^2-4\lambda+3 $$ 2. 求根: $\lambda^2-4\lambda+3=(\lambda-1)(\lambda-3)=0 \Rightarrow \lambda_1=1,\ \lambda_2=3$ 3. 特征向量: - $\lambda_1=1$: $(A-I)\mathbf{v}=\mathbf{0}$, $$ \begin{pmatrix}1&1\1&1\end{pmatrix}\mathbf{v}=0 \Rightarrow \mathbf{v}_1=(1,-1)^\top $$ - $\lambda_2=3$: $(A-3I)\mathbf{v}=\mathbf{0}$, $$ \begin{pmatrix}-1&1\1&-1\end{pmatrix}\mathbf{v}=0 \Rightarrow \mathbf{v}_2=(1,1)^\top $$ 4. 验证: - $$ A\mathbf{v}_1=\begin{pmatrix}2&1\1&2\end{pmatrix}\begin{pmatrix}1\-1\end{pmatrix}=\begin{pmatrix}1\-1\end{pmatrix}=1\cdot\mathbf{v}_1 $$ ✓ - $$ A\mathbf{v}_2=\begin{pmatrix}2&1\1&2\end{pmatrix}\begin{pmatrix}1\1\end{pmatrix}=\begin{pmatrix}3\3\end{pmatrix}=3\cdot\mathbf{v}_2 $$ ✓ 提示: $A$ 对称, $\mathbf{v}_1\cdot\mathbf{v}_2=0$ 印证 M5 (不同特征值 → 正交)。⭐ 来源: 05. 矩阵分解 §特征分解算例

卡片 42 (工程锚点) 🟡¶

Q: PyTorch nn.Linear(in_features=d_in, out_features=d_out) 的 weight 张量 shape 是? A: weight.shape = (d_out, d_in) — 输出维在前, 输入维在后 (与数学直觉 $y=Wx$ 一致, $W$ 为 $d_{out}\times d_{in}$)。数字例: nn.Linear(768, 3072) (Transformer FFN 升维) 的 weight 是 (3072, 768), 参数量 = 3072×768 = 2.36M。bias.shape = (d_out,)。提示: 面试点: 顺序容易记反, 记"out×in"。来源: 03. 矩阵运算 §PyTorch 形状 (R3)

卡片 43 (工程锚点) 🟡¶

Q: 为什么 PyTorch nn.Linear 前向是 $Y=XW^\top+b$, 不是数学教科书里的 $y=Wx+b$? A: 行主约定: 输入 $X$ shape (N, d_in), 每行是一个样本 (batch-first)。要让每行乘 $W$ 得输出行, 只能写 $XW^\top$, 结果 shape (N, d_out)。 - 数学 (列向量): $y=Wx$, $W$ 是 $d_{out}\times d_{in}$, $x$ 是 $d_{in}\times 1$ - 工程 (行向量批处理): $Y=XW^\top$, $X$ 是 $N\times d_{in}$, $W^\top$ 是 $d_{in}\times d_{out}$ 两者数学上等价, 只是"每行 vs 每列一个样本"约定不同。提示: batch 维放最前 → 行主 → 天然带 $W^\top$。来源: 03. 矩阵运算 §行主约定 (R3)

卡片 44 (工程锚点) 🔴¶

Q: LoRA (Low-Rank Adaptation) 为什么是秩 1 外积之和? 参数量节省多少? A: LoRA 把权重更新 $\Delta W$ ($d_{out}\times d_{in}$) 分解为 $\Delta W = BA$, 其中 $B$ 是 $d_{out}\times r$、$A$ 是 $r\times d_{in}$, 秩 $r\ll \min(d_{out}, d_{in})$。等价写成 $r$ 个秩 1 外积之和: $$\Delta W = \sum_{i=1}^r \mathbf{b}_i\mathbf{a}_i^\top$$ 每个 $\mathbf{b}_i\mathbf{a}_i^\top$ 秩 1 (卡 19 的外积)。 参数量: 原 $\Delta W$ = $d_{out}\cdot d_{in}$; LoRA = $r(d_{out}+d_{in})$。数字例: $d_{in}=d_{out}=4096, r=8$: 原 16.8M → LoRA 65K, 减少 256×。提示: 秩 1 外积是 SVD 与 LoRA 共同底座; 微调只训 $A,B$, 冻结原权重。⭐ 来源: 03. 矩阵运算 §LoRA (R3, 关联 §外积、SVD)