Ch03 微积分 — 50 张 Anki 闪卡¶

分布: §01 微分 12 张, §02 积分 8 张, §03 多元微积分 12 张, §04 函数逼近 10 张, §05 优化 8 张类型占比: 定义 25% + 公式 25% + 直觉 20% + 反例/易错 20% + 类比 10% 强制覆盖: ε-δ ≥ 4, 链式法则 ≥ 4, 泰勒 ≥ 3, 梯度 ≥ 2, 跨章桥 ≥ 1

§01 微分学 (12 张)¶

卡片 1 (定义) 🟢¶

Q: 极限 $\lim_{x \to a} f(x) = L$ 的 $\varepsilon$-$\delta$ 定义是什么? A: 对任意 $\varepsilon > 0$, 存在 $\delta > 0$, 只要 $0 < |x-a| < \delta$, 就有 $|f(x) - L| < \varepsilon$。大白话: "我能把 $f(x)$ 压到离 $L$ 多近 (任意 $\varepsilon$), 你就能把 $x$ 压到离 $a$ 多近 ($\delta$)"。数字例: $\lim_{x \to 2} (3x+1) = 7$, 取 $\delta = \varepsilon/3$ 即可。来源: 01. 微分学 §极限

卡片 2 (公式) 🟢¶

Q: 用 $\varepsilon$-$\delta$ 证明 $\lim_{x \to 0} x^2 = 0$。给一个具体选 $\delta$ 的策略。 A: 要使 $|x^2 - 0| < \varepsilon$, 即 $|x|^2 < \varepsilon$。策略: 限制 $|x| < 1$, 则 $|x|^2 < |x|$, 只要 $|x| < \min(1, \varepsilon)$ 就够。取 $\delta = \min(1, \varepsilon)$: 当 $0<|x|<\delta$ 时, $|x^2| \le |x| < \delta \le \varepsilon$ ✓。提示: 限制 $|x|<1$ 是常见技巧, 把 $|x|^2$ 降为 $|x|$。来源: 01. 微分学 §ε-δ 证明 (必考入门)

卡片 3 (反例/易错) 🟡¶

Q: $\lim_{x \to 0} \frac{1}{x}$ 存在吗? 单侧极限与双侧极限的关系是什么? A: $\lim_{x\to 0} \frac{1}{x}$ 不存在 (作为有限实数)。 - 左极限: $\lim_{x\to 0^-} \frac{1}{x} = -\infty$ - 右极限: $\lim_{x\to 0^+} \frac{1}{x} = +\infty$ - 双侧极限存在 $\Leftrightarrow$ 左右极限都存在且相等。此处左侧为 $-\infty$、右侧为 $+\infty$, 不相等 (在 $\mathbb{R} \cup \{+\infty,-\infty\}$ 中仍不等), 故双侧极限不存在。 反证思路 (若假设 $\lim_{x\to 0} 1/x = L$ 存在为有限数): 取 $\varepsilon = 1$, 要 $|1/x - L| < 1$, 即 $L-1 < 1/x < L+1$。但 $x\to 0^+$ 时 $1/x\to +\infty$, 区间被破坏, 矛盾。提示: 在 $\mathbb{R}$ 中, $\pm\infty$ 不是实数, 所以"等于 $\infty$"不能算极限存在 (有些教材写"广义极限"另算)。来源: 01. 微分学 §ε-δ 反例

卡片 4 (反例/易错) 🟡¶

Q: $\varepsilon$-$\delta$ 证明中, "$\varepsilon$ 选错"会导致什么? 举一个错例。 A: $\varepsilon$ 必须任意给, 不能挑一个特殊值。若只对某个具体的 $\varepsilon$ 找到了 $\delta$, 不算证明。错例: "证 $\lim x^2=0$, 取 $\varepsilon=0.01$, 找 $\delta=0.1$" — 没说"对任意 $\varepsilon$ 都存在 $\delta$", 证明无效。提示: $\varepsilon$ 是挑战者, $\delta$ 是应答者; 顺序不能换。来源: 01. 微分学 §ε-δ 易错

卡片 5 (公式) 🟡¶

Q: 链式法则 $\frac{d}{dx} f(g(x))$ 的标准形式是什么? 配一个具体例子。 A: $\frac{d}{dx} f(g(x)) = f'(g(x)) \cdot g'(x)$。想成剥洋葱: 先对外层求导 (内层保持不动), 再乘以内层导数。数字例: $f(x)=\sin(x), g(x)=3x+1$, 求 $\frac{d}{dx}\sin(3x+1) = \cos(3x+1) \cdot 3 = 3\cos(3x+1)$。来源: 01. 微分学 §链式法则

卡片 6 (公式) 🔴¶

Q: 单变量链式法则 → 多变量 → 矩阵 (Jacobian) 的三步递进是什么? A: - 单变量: $\frac{d}{dx}f(g(x)) = f'(g(x))\, g'(x)$ — 标量乘标量 - 多变量: 若 $z=f(x,y), x=g(t), y=h(t)$, 则 $\frac{dz}{dt}=\frac{\partial f}{\partial x}\frac{dx}{dt}+\frac{\partial f}{\partial y}\frac{dy}{dt}$ - 矩阵: 若 $\mathbf{z}=\mathbf{F}(\mathbf{y}), \mathbf{y}=\mathbf{G}(\mathbf{x})$, 则 $J_{\mathbf{z}/\mathbf{x}} = J_{\mathbf{F}/\mathbf{y}} \cdot J_{\mathbf{G}/\mathbf{x}}$ — Jacobian 的乘法 (矩阵乘法)

每步都是"链上的导数相乘", 从标量乘法升级为矩阵乘法。提示: 数字例见卡片 31。来源: 01. 微分学 §链式法则三阶递进

卡片 7 (跨章桥) 🔴¶

Q: 微分 $dy = f'(x) \cdot dx$ 在 Ch02 §04 框架下是什么意思? A: $dy = f'(x)\cdot dx$ 就是 $1\times 1$ 矩阵乘法 — 把"线性映射 = 矩阵" (Ch02 §04) 落到微积分。导数 $f'(x)$ 是一个标量, 也是把无穷小位移 $dx$ 线性映射到输出变化 $dy$ 的矩阵(1×1)。多元情形 $d\mathbf{y} = J\, d\mathbf{x}$ 直接推广, $J$ 是 Jacobian 矩阵。提示: 微分把"曲线"在局部线性化为"映射", 局部线性映射 = 矩阵 = Ch02 线性映射。来源: 01. 微分学 §微分 (跨章桥 Ch02 §04)

卡片 8 (公式) 🟢¶

Q: 幂法则 $\frac{d}{dx} x^n$ 是什么? 配 3 个数字例。 A: $\frac{d}{dx} x^n = n x^{n-1}$, 对任意实数 $n$ 成立。 - $\frac{d}{dx} x^3 = 3x^2$ - $\frac{d}{dx} x^{-1} = -x^{-2}$ - $\frac{d}{dx} \sqrt{x} = \frac{d}{dx} x^{1/2} = \frac{1}{2} x^{-1/2}$

把指数搬下来, 指数减一。来源: 01. 微分学 §幂法则

卡片 9 (公式) 🟢¶

Q: 乘积法则 $(fg)' = ?$, 商法则 $(f/g)' = ?$ A: 乘积: $(fg)' = f'g + fg'$ — "导一乘另一, 加未导乘另一导"。商: $\left(\frac{f}{g}\right)' = \frac{f'g - fg'}{g^2}$ — "下导上减上导下, 除以下的平方"。数字例: $(x^2 \sin x)' = 2x\sin x + x^2\cos x$。提示: 乘积法则: 导数不是导数之积, 别踩坑。来源: 01. 微分学 §乘积/商法则

卡片 10 (公式) 🟡¶

Q: 洛必达法则的使用条件与公式? A: 当 $x \to a$ 时 $\frac{f(x)}{g(x)}$ 出现 $\frac{0}{0}$ 或 $\frac{\infty}{\infty}$ 不定型, 且 $f,g$ 在 $a$ 附近可微、$g'(x)\ne 0$, 则: $$\lim_{x \to a} \frac{f(x)}{g(x)} = \lim_{x \to a} \frac{f'(x)}{g'(x)}$$ 数字例: $\lim_{x \to 0} \frac{\sin x}{x} \xrightarrow{\text{L'H}} \lim_{x\to 0}\frac{\cos x}{1}=1$。来源: 01. 微分学 §洛必达

卡片 11 (反例/易错) 🟡¶

Q: $\lim_{x\to 0}\frac{\sin x}{x}$ 用代入直接算得 $\frac{0}{0}$, 但极限仍存在。常见的"反例"陷阱是什么? A: 误区: "$\frac{0}{0}$ 一定没极限"。反例: $\lim_{x\to 0}\frac{\sin x}{x}=1$, $\lim_{x\to 0}\frac{x^2}{x}=0$。$\frac{0}{0}$ 是未定型, 既可能有限、也可能发散, 必须用别的方法判别 (洛必达、泰勒、夹逼)。提示: $\frac{0}{0}$ 不是答案, 是"需要再算一步"的信号。来源: 01. 微分学 §未定型

卡片 12 (直觉) 🟢¶

Q: $e^x$ 为什么在 ML 里无处不在? 一句话直觉 + 数字例。 A: $e^x$ 是唯一导数等于自身的函数 ($\frac{d}{dx}e^x=e^x$), 所以对它求导不改变形状, Softmax、Cross-entropy、Gaussian 概率密度等都用它保持可微性。数字例: $e^0=1$, $\frac{d}{dx}e^x\big|_{x=0}=1$ — 在 $x=0$ 处值与导数恰好相等。来源: 01. 微分学 §常见导数

§02 积分学 (8 张)¶

卡片 13 (定义) 🟢¶

Q: 定积分 $\int_a^b f(x)\,dx$ 的定义是什么? A: 黎曼和的极限: $$\int_a^b f(x)\,dx = \lim_{n\to\infty}\sum_{i=1}^{n}f(x_i^*)\,\Delta x, \quad \Delta x = \frac{b-a}{n}$$ 几何意义: 曲线下带符号面积 (x 轴上方为正, 下方为负)。数字例: $\int_0^1 x^2 dx = \frac{1}{3}$。来源: 02. 积分学 §定积分

卡片 14 (定义) 🟢¶

Q: 微积分基本定理 (FTC) 第一部分怎么把难算化成易算? A: 若 $F'(x)=f(x)$, 则 $\int_a^b f(x)\,dx = F(b) - F(a)$ — 不用算黎曼和, 找一个反导数代入端点相减即可。数字例: $\int_1^3 x^2 dx = \left[\frac{x^3}{3}\right]_1^3 = \frac{27}{3}-\frac{1}{3}=\frac{26}{3}$。提示: 这是把"无穷项求和"压成"两点函数值相减"的关键。来源: 02. 积分学 §FTC

卡片 14.5 (反例/易错) 🟡¶

Q: FTC 反例: 给一个 $f$ 在 $[-1,1]$ 上连续, 但 $\int_{-1}^1 f$ 不能写成 $F(1)-F(-1)$ (因为 $F'=f$ 不在全区间成立)。 A: 取 $$ f(x) = \mathrm{sgn}(x) = \begin{cases} -1, & x<0 \ 0, & x=0 \ +1, & x>0\end{cases} $$。 - $f$ 在 $[-1,1]$ 上除 $x=0$ 外处处有定义, 但积分仍合法 (函数有界、几乎处处连续, 可积)。 - 然而, 任何候选 $F$ 若满足 $F'=f$ 在所有 $x\ne 0$ 成立, 必有 $F(x)=|x|+C$, 于是 $F$ 在 $x=0$ 处不可微 (左导 $-1$ ≠ 右导 $+1$), 故 $F'=f$ 在 $x=0$ 不成立。 - 因此不能在整个 $[-1,1]$ 上找到一个可微函数 $F$ 使 $F'=f$ 处处成立 — FTC 第一部分前提 (在闭区间上 $F$ 可微) 不满足。 数值观察: $\int_{-1}^1 \mathrm{sgn}(x)\,dx = 0$ (左右对称), 但若错误套用 FTC 用 $F(1)-F(-1)$, 会得到 $|1|-| -1| = 0$, 巧合一致 — 这不能作为反例的"证据", 因为它没排除 $F$。提示: FTC 真正需要的反例: $f$ 黎曼可积, 但不存在全区间可微的 $F$ 使 $F'=f$ — 上述 $f=\mathrm{sgn}(x)$ 正是这种。来源: 02. 积分学 §FTC 反例 (反例模板: 名称+大白话+反例)

卡片 15 (公式) 🟢¶

Q: 不定积分 $\int f(x)\,dx$ 与定积分的核心区别是什么? 为什么有 $+C$? A: 不定积分 $\int f(x)\,dx = F(x)+C$ 是一族反导数; $C$ 是积分常数, 因为任何常数的导数都是 0, 所以差一个常数的反导数都满足要求。数字例: $\int 2x\,dx = x^2+C$ ($C=0, 7, -3$ 都合法)。来源: 02. 积分学 §不定积分

卡片 16 (公式) 🟡¶

Q: u 代换法是链式法则的反向操作, 公式是什么? 配数字例。 A: 若积分形如 $\int f(g(x))\cdot g'(x)\,dx$, 令 $u=g(x)$, $du=g'(x)\,dx$, 则 $\int f(u)\,du$。数字例: $\int 2x\cos(x^2)\,dx$, 令 $u=x^2$, $du=2x\,dx$, 得 $\int\cos(u)\,du = \sin(u)+C = \sin(x^2)+C$。来源: 02. 积分学 §u 代换

卡片 17 (公式) 🟡¶

Q: 分部积分 $\int u\,dv = uv - \int v\,du$。LIATE 口诀是什么? A: 选 $u$ 的优先级: Logarithmic → Inverse trig → Algebraic → Trigonometric → Exponential, 越靠前的越优先选作 $u$。数字例: $\int x e^x dx$, 取 $u=x$ (A), $dv=e^x dx$, 则 $du=dx, v=e^x$, 得 $xe^x - \int e^x dx = e^x(x-1)+C$。来源: 02. 积分学 §分部积分

卡片 18 (直觉) 🟢¶

Q: 为什么"速度对时间积分得到位移"? A: 速度 $v(t)$ 是位置 $s(t)$ 的导数 $s'(t)=v(t)$; 由 FTC, $\int_a^b v(t)\,dt = s(b)-s(a)$ — 定积分 = 端点函数值之差。直觉: 把时间切成无穷小段 $dt$, 每段走的距离 $v(t)\,dt$, 全加起来就是总位移 (带符号, 倒车算负)。数字例: $v(t)=3t+1$, $\int_0^2 v(t)dt = [\frac{3t^2}{2}+t]_0^2 = 6+2-0 = 8$ 米。来源: 02. 积分学 §物理直觉

卡片 19 (反例/易错) 🟡¶

Q: "$\int f(x)\,dx = F(x)$, 唯一确定"的说法对吗? 反例? A: 错。$\int f(x)\,dx = F(x) + C$ 是一族, 不是一个。反例: $\int 2x\,dx$ 既可以是 $x^2$, 也可以是 $x^2+7$, $x^2-3.14$。常数的导数是 0, 任何常数加进去都是合法反导数。提示: 不定积分的答案永远带 $C$, 不带 $C$ 的写法只在定积分里合法。来源: 02. 积分学 §常数陷阱

卡片 20 (类比) 🟢¶

Q: 用"水位对时间的导数 = 流入速率"类比积分与微分? A: 把水库水位 $h(t)$ 想成被积函数, 流入速率 $h'(t)$ 是导数 — 已知速率, 求总流入水量 = 积分; 已知水位变化, 问瞬时速率 = 微分。数字例: $h(t)=t^2$, 流入速率 $h'(t)=2t$, 5 小时总流入 = $\int_0^5 2t\,dt = 25$。提示: 微分是"看坡度", 积分是"看累积"。来源: 02. 积分学 §物理类比

§03 多元微积分 (12 张)¶

卡片 21 (定义) 🟢¶

Q: 偏导数 $\frac{\partial f}{\partial x}$ 的定义是什么? 配数字例。 A: 把其他变量当常数, 只对 $x$ 求导。数字例: $f(x,y)=x^2y+3x-2y$, $\frac{\partial f}{\partial x}=2xy+3$ (把 $y$ 当常数), $\frac{\partial f}{\partial y}=x^2-2$ (把 $x$ 当常数)。几何: 在某个固定 $y$ 处用平行于 $xz$ 平面的刀切曲面, 看切线斜率。来源: 03. 多元微积分 §偏导

卡片 22 (定义) 🟢¶

Q: 梯度 $\nabla f$ 的定义 (列向量约定) 与两个关键性质? A: 对标量函数 $f: \mathbb{R}^n \to \mathbb{R}$, 约定 $\nabla f$ 为列向量: $$\nabla f(\mathbf{x}) = \begin{pmatrix} \frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{pmatrix} \in \mathbb{R}^{n}, \quad \text{shape} = (n,)$$ 等价地, 行向量写法 $\nabla f^\top = (\frac{\partial f}{\partial x_1},\dots,\frac{\partial f}{\partial x_n})$。性质: - 方向: 指向函数上升最陡的方向 (登山者站在山上的方向) - 大小: $\|\nabla f\|$ = 最陡方向的上升速率

数字例: $f(x,y)=x^2+y^2$, $$ \nabla f = \begin{pmatrix}2x\2y\end{pmatrix} $$, 在 $(1,2)$ 处 $$ \nabla f = \begin{pmatrix}2\4\end{pmatrix} $$, $\|\nabla f\| = \sqrt{20} = 2\sqrt 5$。来源: 03. 多元微积分 §梯度 (列向量约定)

卡片 23 (公式) 🟡¶

Q: 方向导数 $D_{\mathbf{u}} f$ 公式? 为什么梯度方向导数最大? 显式单位化例子。 A: $D_{\mathbf{u}} f = \nabla f \cdot \mathbf{u}$ (其中 $\mathbf{u}$ 是单位向量, $\|\mathbf{u}\|=1$)。由 Cauchy-Schwarz: $\nabla f \cdot \mathbf{u} \le \|\nabla f\|\,\|\mathbf{u}\| = \|\nabla f\|$, 等号在 $\mathbf{u} = \nabla f/\|\nabla f\|$ 时取到。 显式单位化数字例: $f(x,y)=x^2+y^2$, 原始向量 $\mathbf{v}=(3,4)$。 - 长度 $\|\mathbf{v}\| = \sqrt{3^2+4^2} = 5$ - 单位向量 $\hat{\mathbf{v}} = \mathbf{v}/\|\mathbf{v}\| = (3/5, 4/5)$ - 在 $(1,2)$ 处: $\nabla f = (2,4)$ (行) 或 $$ \begin{pmatrix}2\4\end{pmatrix} $$ (列) - 方向导数: $D_{\hat{\mathbf{v}}} f = \nabla f \cdot \hat{\mathbf{v}} = 2\cdot\frac{3}{5} + 4\cdot\frac{4}{5} = \frac{6+16}{5} = \frac{22}{5} = 4.4$ - 验证: $\nabla f$ 方向单位化 $\hat{\nabla f} = (2,4)/\sqrt{20}$, 沿此方向的方向导数 = $\|\nabla f\| = \sqrt{20} \approx 4.4721$, 确实大于 沿 $(3,4)$ 方向的 $4.4$。来源: 03. 多元微积分 §方向导数 (含单位化算例)

卡片 24 (定义) 🟡¶

Q: Jacobian 矩阵 $J$ 的定义 (含 shape 契约)? A: 对 $\mathbf{F}: \mathbb{R}^n \to \mathbb{R}^m$ ($n=$ 输入维, $m=$ 输出维), Jacobian $J_{\mathbf{F}}(\mathbf{x})$ 是 $\mathbf{m \times n}$ 矩阵, 第 $i$ 行第 $j$ 列是 $\frac{\partial F_i}{\partial x_j}$。 Shape 契约表: | 对象 | 含义 | shape | |------|------|-------| | $\mathbf{x}$ | 输入向量 | $(n,)$ | | $\mathbf{F}(\mathbf{x})$ | 输出向量 | $(m,)$ | | $J_{\mathbf{F}}(\mathbf{x})$ | Jacobian 矩阵 | $(m, n)$ | | $\nabla f$ (标量 $f$) | 偏导向量 | $(n,)$ |

数字例: $\mathbf{F}(x_1,x_2)=(x_1^2+x_2, x_1 x_2^2)$ (这里 $n=2, m=2$), $$J_{\mathbf{F}} = \begin{pmatrix} 2x_1 & 1 \\ x_2^2 & 2x_1 x_2 \end{pmatrix}, \quad \text{在 }(1,2) \text{ 处 } J_{\mathbf{F}} = \begin{pmatrix}2&1\\4&4\end{pmatrix}$$ 来源: 03. 多元微积分 §Jacobian (shape 契约)

卡片 25 (公式) 🟡¶

Q: 梯度 $\nabla f$ 与 Jacobian $J_{\mathbf{F}}$ 的关系 (含 shape 契约)? A: 梯度只对标量函数 ($m=1$) 定义, $\mathbf{F}=f$ 时 $J_f \in \mathbb{R}^{1\times n}$ 是行向量 (每行是 1 个输出分量的梯度): $$\nabla f \in \mathbb{R}^n \text{ (列向量)}, \quad J_f = (\nabla f)^\top \in \mathbb{R}^{1\times n} \text{ (行向量)}, \quad J_f^\top = \nabla f$$ Shape 契约 (设输入维 $n$, 输出维 $m$): | 量 | shape | 说明 | |----|-------|------| | $\nabla f$ | $(n,)$ | 仅当 $m=1$ (标量函数) 时有定义 | | $J_f$ | $(1, n)$ | 标量函数的 Jacobian = 梯度转置行 | | $J_{\mathbf{F}}$ | $(m, n)$ | 第 $i$ 行 = 第 $i$ 个输出分量 $F_i$ 的 $\nabla F_i$ 转置 |

承接 Ch02 §04: 线性映射 = 矩阵, 所以微分 $d\mathbf{F} = J_{\mathbf{F}}\, d\mathbf{x}$ 正是这一框架的应用 ($d\mathbf{x}\in\mathbb{R}^n$ 被 $(m,n)$ 矩阵映射到 $d\mathbf{F}\in\mathbb{R}^m$)。来源: 03. 多元微积分 §Jacobian 与梯度 (shape 表)

卡片 26 (公式) 🟡¶

Q: 多元链式法则: 若 $z=f(x,y), x=g(t), y=h(t)$, 则 $\frac{dz}{dt} = ?$ (含形状) A: $$\frac{dz}{dt} = \frac{\partial f}{\partial x}\frac{dx}{dt} + \frac{\partial f}{\partial y}\frac{dy}{dt}$$ — 每条路径贡献一项, 沿路径的偏导乘中间变量对 $t$ 的导数。 矩阵形式: 令 $\mathbf{x}=(x,y)^\top$, 则 $\frac{d\mathbf{x}}{dt}\in\mathbb{R}^2$, $J_f = (\nabla f)^\top \in\mathbb{R}^{1\times 2}$: $$\frac{dz}{dt} = J_f \cdot \frac{d\mathbf{x}}{dt} = (\nabla f)^\top \cdot \frac{d\mathbf{x}}{dt} \quad \in \mathbb{R}$$ 数字例: $z=x^2y+3x-y^2, x=\cos t, y=\sin t$, $\frac{dz}{dt}=(2xy+3)(-\sin t)+(x^2-2y)(\cos t)$。来源: 03. 多元微积分 §多元链式法则

卡片 27 (公式) 🔴¶

Q: Jacobian 复合公式 (Ch02 矩阵乘法在 Ch03 的应用)? A: 若 $\mathbf{y}=\mathbf{F}(\mathbf{x}), \mathbf{x}=\mathbf{G}(\mathbf{z})$, 则 $\mathbf{y}=\mathbf{F}(\mathbf{G}(\mathbf{z}))$, 复合函数 Jacobian: $$\frac{\partial \mathbf{y}}{\partial \mathbf{z}} = \frac{\partial \mathbf{y}}{\partial \mathbf{x}} \cdot \frac{\partial \mathbf{x}}{\partial \mathbf{z}}$$ Shape 自洽检查: 设 $\mathbf{G}:\mathbb{R}^k\to\mathbb{R}^n$, $\mathbf{F}:\mathbb{R}^n\to\mathbb{R}^m$, 则 $J_{\mathbf{G}}\in\mathbb{R}^{n\times k}$, $J_{\mathbf{F}}\in\mathbb{R}^{m\times n}$, 乘积 $J_{\mathbf{F}}\cdot J_{\mathbf{G}} \in \mathbb{R}^{m\times k}$ = $J_{\text{复合}}$ 形状 ✓。 正是 Ch02 卡片 16 的矩阵乘法规则。这是反向传播 (backprop) 的数学骨架。来源: 03. 多元微积分 §Jacobian 复合 (Ch02 矩阵乘法)

卡片 28 (定义) 🟡¶

Q: Hessian 矩阵 $H$ 是什么? 有什么对称性? A: 标量函数 $f(\mathbf{x})$ 的 $H$ 是 $n\times n$ 矩阵, $H_{ij}=\frac{\partial^2 f}{\partial x_i \partial x_j}$, 装着所有二阶偏导数。对称性: 由克莱罗定理, 二阶偏导连续时 $\frac{\partial^2 f}{\partial x_i\partial x_j}=\frac{\partial^2 f}{\partial x_j\partial x_i}$, 所以 $H=H^\top$ (回引 Ch02 卡 10 对称矩阵)。数字例: $f(x,y)=x^3+2xy^2-y^3$, $$ H=\begin{pmatrix}6x&4y\4y&4x-6y\end{pmatrix} $$。来源: 03. 多元微积分 §Hessian

卡片 29 (公式) 🟡¶

Q: 用 Hessian 判断临界点类型的规则? A: 在 $\nabla f = \mathbf{0}$ 处: - $H$ 正定 (所有 $\lambda > 0$) → 局部极小 (碗形) - $H$ 负定 (所有 $\lambda < 0$) → 局部极大 (倒碗) - $H$ 有正有负 $\lambda$ → 鞍点 (山间垭口)

注: 此处 $\lambda$ 指 Hessian 的特征值 (Ch02 §05), 与卡 47 的 $\lambda$ 多义不同。数字例: $f(x)=x^3-3x$, $H=6x$: $x=1$ 时 $H=6>0$ (极小), $x=-1$ 时 $H=-6<0$ (极大)。提示: 正定等价条件见 Ch02 卡 13。来源: 03. 多元微积分 §Hessian 判定 (此处 $\lambda$ = 特征值)

卡片 30 (反例/易错) 🟡¶

Q: "一阶导存在 ⇒ 二阶导存在"对吗? 反例? A: 错。$f(x)=x|x|$ 处处一阶可导 ($f'(x)=2|x|$), 但 $f'(x)$ 在 $x=0$ 处不可导 (左导 $-2$ ≠ 右导 $+2$), 所以二阶导不存在。纯净: 此反例只违反"二阶导存在"性质, 不串扰其他 (如连续性、一阶导)。提示: 高阶可微要求逐级加强, 不能跳级。来源: 03. 多元微积分 §可微性

卡片 31 (算例闭环) 🟡¶

Q: 验证 Jacobian 复合公式 $J_{y/z}=J_{y/x}\cdot J_{x/z}$, 用 $\mathbf{y}=x^2\mathbf{e}_1+x\mathbf{e}_2, x=t^2$。 A: 四步: 1. $$ J_{y/x}=\begin{pmatrix}2x\1\end{pmatrix} $$ — 输出 $\mathbf{y}$ 对输入 $x$ (shape $2\times 1$) 2. $J_{x/z}=\frac{dx}{dt}=2t$ — $1\times 1$ 矩阵 (标量) 3. $$ J_{y/z}=J_{y/x}\cdot J_{x/z}=\begin{pmatrix}2x\1\end{pmatrix}(2t)=\begin{pmatrix}4xt\2t\end{pmatrix} $$ — 矩阵乘 (shape $2\times 1$) 4. 验证: $\mathbf{y}=x^2\mathbf{e}_1+x\mathbf{e}_2=t^4\mathbf{e}_1+t^2\mathbf{e}_2$, $$ \frac{d\mathbf{y}}{dt}=\begin{pmatrix}4t^3\2t\end{pmatrix} $$ ✓

$t=1, x=1$ 时 $$ J_{y/z}=\begin{pmatrix}4\2\end{pmatrix} $$。来源: 03. 多元微积分 §Jacobian 算例

卡片 32 (工程锚点) 🔴¶

Q: PyTorch autograd 与 Jacobian 的区别是什么? 标量损失对权重 $W$ 的梯度 $\nabla_W L$ 的 shape 是? A: autograd ≠ Jacobian: autograd 计算的是 VJP (vector-Jacobian product), 即 reverse-mode 自动微分对标量损失反传, 默认返回的是对每个输入参数的梯度 $\nabla_{\text{param}} L$, 不是完整 Jacobian 矩阵。 Shape 契约: | 对象 | 含义 | shape | |------|------|-------| | 标量损失 $L$ | 输出 | 标量 (shape $(,)$) | | 参数 $W$ | 网络参数 (如 Linear 权重) | $(m, n)$ | | $\nabla_W L$ | autograd 输出的梯度 | 与 $W$ 同 shape $(m, n)$ |

为什么同 shape? reverse-mode 对单个标量输出计算 VJP, 结果对每个输入参数返回一个同形梯度张量。这与 Jacobian 矩阵 $(m,n)$ shape 不一样 — Jacobian 是 forward-mode 默认的输入→输出完整映射, 计算量 $O(mn)$; VJP 是 reverse-mode 对标量的反传, 计算量 $O(n)$ (输入维)。数字例: nn.Linear(768, 3072) 的 weight.shape=(3072, 768), 那么 weight.grad.shape=(3072, 768), 总元素数相同; 但这不是 $J_{\text{net}}$ (那是巨大矩阵), 只是参数 $W$ 这一项的梯度切片。算例: 两层网络 $\hat y = W_2 \sigma(W_1 x)$, $L=\|\hat y\|^2$。 - forward-mode Jacobian: $J_{\hat y / W_1}\in\mathbb{R}^{m\times (m\cdot n)}$, 巨大, 一般不算 - reverse-mode (autograd): $\nabla_{W_1} L = J_{\sigma}^\top(W_2^\top \nabla_{\hat y} L)\, x^\top$, 与 $W_1$ 同 shape 来源: 03. 多元微积分 §PyTorch autograd = VJP (Ch06 前置)

§04 函数逼近 (10 张)¶

卡片 33 (定义) 🟢¶

Q: Taylor 多项式 $P_n(x)$ 的公式是什么? 各项的物理意义? A: $f$ 在 $x=a$ 处的 $n$ 阶 Taylor 多项式 (有限项, 不涉及收敛) 定义为: $$P_n(x) = \sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k$$ - 第 1 项 ($k=0$): 匹配值 $f(a)$ - 第 2 项 ($k=1$): 匹配斜率 $f'(a)$ - 第 3 项 ($k=2$): 匹配曲率 $f''(a)$ - 越高阶匹配越细节

注意: $P_n$ 是有限多项式, 不管原函数多复杂 (哪怕不可导无数次), $P_n$ 总存在, 只要求 $f^{(k)}(a)$ 对 $k=0,\dots,n$ 有意义。 收敛条件: $P_n(x)$ 永远是个多项式, 根本"不收敛"也不"发散" — 它定义明确。如果你想让 $P_n(x) \to f(x)$ 当 $n\to\infty$, 那要看 Taylor 级数 (卡 36) 的收敛半径。来源: 04. 函数逼近 §Taylor 多项式 (有限项, 无收敛问题)

卡片 34 (公式) 🟢¶

Q: $e^x$ 的麦克劳林展开 (前 4 项)? 用来估算 $e^{0.5}$ 的数字例。 A: $e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \frac{x^4}{4!} + \cdots$ 数字例 (估算 $e^{0.5}$, 取 4 项): $1 + 0.5 + \frac{0.25}{2} + \frac{0.125}{6} = 1 + 0.5 + 0.125 + 0.02083 \approx 1.6458$。真实值 $e^{0.5} \approx 1.6487$, 4 项已给出 3 位正确小数。来源: 04. 函数逼近 §$e^x$ 展开

卡片 35 (公式) 🟡¶

Q: Lagrange 余项 $R_n(x)$ 公式? 注意 $n+1$ 阶导数。为什么加项时误差衰减极快? A: Lagrange 余项 (要求 $f$ 在 $[a,x]$ 上 $n+1$ 阶连续可微): $$R_n(x) = \frac{f^{(n+1)}(\xi)}{(n+1)!}(x-a)^{n+1}$$ 其中 $\xi$ 是 $a, x$ 之间某未知点。关键: 余项用的是 $f$ 的 $n+1$ 阶导数, 不是 $n$ 阶。衰减快的原因: 分母 $(n+1)!$ 增长阶乘级, 比 $|x-a|^{n+1}$ 的指数增长快得多 — 只要 $|x-a|$ 在收敛半径内, 加项后误差迅速缩小。

数字例: $\sin x$ 截到第 3 项 (即 $n=3$, 多项式含 $x, x^3$), 余项: $$R_3(x) = \frac{f^{(4)}(\xi)}{4!}x^4 = \frac{\sin\xi}{24}x^4$$ 取 $x=1$, 上界 $|R_3| \le \frac{1}{24} \approx 0.0417$。卡 34 实测 $\sin 1$ 的 3 项截断误差 $\sim 2\times 10^{-4}$ 远小于此上界, 因为实际 $\sin\xi$ 在 $\xi\in[0,1]$ 上远小于 1 ✓。来源: 04. 函数逼近 §Lagrange 余项 (注意 n+1 阶导)

卡片 35.5 (公式) 🟡¶

Q: Peano 余项 $R_n(x) = o((x-a)^n)$ 是什么? 与 Lagrange 余项的区别? A: Peano 余项 (较弱条件): 只要求 $f$ 在 $x=a$ 处 $n$ 阶可导 (不要求 $n+1$ 阶), 则: $$R_n(x) = f(x) - P_n(x) = o\big((x-a)^n\big), \quad x\to a$$ 即 $\lim_{x\to a} R_n(x)/(x-a)^n = 0$。只说"误差是高阶小量", 不给显式公式。 与 Lagrange 余项对比: | 余项 | 要求 | 结论 | |------|------|------| | Lagrange | $f$ 在 $[a,x]$ 上 $n+1$ 阶连续可微 | 显式公式 $R_n = f^{(n+1)}(\xi)/(n+1)!\cdot(x-a)^{n+1}$ | | Peano | $f$ 在 $x=a$ 处 $n$ 阶可导 | 定性结论 $R_n = o((x-a)^n)$, 无显式值 |

积分余项 (另一定量形式, 要求 $f$ 在 $[a,x]$ 上 $n+1$ 阶连续可导): $$R_n(x) = \int_a^x \frac{f^{(n+1)}(t)}{n!}(x-t)^n\,dt$$ 数字例: $f(x)=\sin x$ 在 $a=0$, $P_1(x)=x$, $\sin x - x = o(x)$ 当 $x\to 0$, 所以 Peano 余项对 $n=1$ 成立。来源: 04. 函数逼近 §Peano 余项 & 积分余项

卡片 36 (公式) 🟡¶

Q: 拉格朗日余项 + 收敛半径: Taylor 级数有效范围怎么定? A: Taylor 级数 (无限求和, 必须先验收敛域): $$f(x) = \sum_{k=0}^{\infty}\frac{f^{(k)}(a)}{k!}(x-a)^k$$ 收敛条件: 仅当 $|x-a| < R$ 时级数收敛, 其中 $R$ 是 Taylor 级数的收敛半径。在 $|x-a|<R$ 内, $f(x)$ 才等于级数的和; 在 $|x-a|>R$ 外, 级数发散。 求 $R$ 的方法 (比值判别法 Ch03 卡 39): $$R = \lim_{k\to\infty}\left|\frac{a_k}{a_{k+1}}\right| = \lim_{k\to\infty}\left|\frac{f^{(k)}(a)/k!}{f^{(k+1)}(a)/(k+1)!}\right| = \lim_{k\to\infty}\frac{k+1}{|f^{(k+1)}(a)/f^{(k)}(a)|}$$ 两个例子: - $\frac{1}{1-x} = 1+x+x^2+\cdots$, 收敛半径 $R=1$。在 $x=2$ 处 $1+2+4+8+\cdots$ 发散 (回引卡 38)。 - $e^x = \sum x^k/k!$, 用比值判别 $L = \lim |x|/(k+1) = 0<1$, 对所有 $x\in\mathbb{R}$ 收敛 (整函数, $R=\infty$)。

重要警告: $f$ 在 $a$ 处 Taylor 级数收敛, 不一定等于 $f(x)$ — 例如 $$ f(x)=\begin{cases}e^{-1/x^2}, & x\ne 0 \ 0, & x=0\end{cases} $$ 所有阶导数在 0 处 = 0, Taylor 级数恒等于 0, 但 $f(x)>0$ 当 $x\ne 0$。来源: 04. 函数逼近 §Taylor 级数 + 收敛半径

卡片 37 (公式) 🟡¶

Q: 多元二阶泰勒展开 $f(\mathbf{x}) \approx f(\mathbf{a}) + \nabla f(\mathbf{a})^\top(\mathbf{x}-\mathbf{a}) + \frac{1}{2}(\mathbf{x}-\mathbf{a})^\top H(\mathbf{a})(\mathbf{x}-\mathbf{a})$ 三项各自代表什么? A: 第一项 = 在 $\mathbf{a}$ 处的函数值; 第二项 = 梯度沿位移的线性修正 (向量点积); 第三项 = Hessian 描述的曲率修正 (二次型, 标量输出)。 Shape 检查: - $\nabla f(\mathbf{a})^\top \in \mathbb{R}^{1\times n}$ - $(\mathbf{x}-\mathbf{a}) \in \mathbb{R}^{n\times 1}$ - 乘积 = $\mathbb{R}$, 标量 ✓ - $(\mathbf{x}-\mathbf{a})^\top H(\mathbf{a})(\mathbf{x}-\mathbf{a})$ 也是 $\mathbb{R}$

数字例: $f(x,y)=x^2+y^2$, $\mathbf{a}=(0,0)$: $f(0)=0$, $$ \nabla f = \begin{pmatrix}0\0\end{pmatrix} $$ (零向量), $H=2I$, 展开得 $f \approx \mathbf{x}^\top\mathbf{x} = x^2+y^2$ — 二次函数本身就是它自己的二阶泰勒。来源: 04. 函数逼近 §多元二阶泰勒

卡片 38 (反例/易错) 🟡¶

Q: 泰勒级数 $\frac{1}{1-x} = 1 + x + x^2 + x^3 + \cdots$ 在 $x=2$ 处能用吗? A: 不能。级数只在收敛半径 $R=1$ (即 $|x|<1$) 内有效; $x=2$ 在半径外, 级数发散 ($1+2+4+8+\cdots$ 不收敛)。纯净: 此反例只违反"收敛半径内"条件, 不涉及其他性质。提示: 用比值判别法: $L = \lim |a_{n+1}/a_n| = |x|$, 收敛当且仅当 $L<1$。来源: 04. 函数逼近 §收敛半径

卡片 39 (公式) 🔴¶

Q: 比值判别法 (ratio test) 怎么求收敛半径 $R$? A: 对幂级数 $\sum a_n(x-c)^n$, 算 $L = \lim_{n\to\infty}\left|\frac{a_{n+1}}{a_n}\right|$ (可能与 $x$ 有关)。 - 若 $L < 1$: 收敛 - 若 $L > 1$: 发散 - 若 $L = 1$: 不定收敛半径 $R = 1/L$ (常数情形)。数字例: $e^x = \sum x^n/n!$, $L=\lim |x|/(n+1)=0<1$, 对所有 $x$ 收敛 (整函数, $R=\infty$)。来源: 04. 函数逼近 §比值判别法

卡片 40 (类比) 🟢¶

Q: 用"拼乐高"类比泰勒级数逐项修正。 A: 泰勒级数 = 用越来越小的乐高积木拼出原函数形状: - 第 1 块 (常数项): 把积木放在正确高度 - 第 2 块 (线性项): 调整倾斜角 - 第 3 块 (二次项): 加上一点弯曲 - 越往后, 积木越小 (分母 $k!$), 修补的细节越精细数字例: $e^x$ 在 $x=0.5$ 处: 1 块 $1$, 1 块 $0.5$, 1 块 $0.125$, 1 块 $0.0208$, …, 4 块拼出 $1.6458$ (真实 $1.6487$)。来源: 04. 函数逼近 §乐高类比

卡片 41 (直觉) 🟡¶

Q: 万能逼近定理 (universal approximation theorem) 一句话说什么? A: 单隐藏层、足够宽 (神经元足够多) 的前馈神经网络, 可以以任意精度逼近任意连续函数 (在紧集上)。意义: 解释了"为什么深度学习理论上能拟合任何映射", 但不保证训练算法能找到这样的网络 — 优化问题是另一回事。数字例: 拟合 $\sin x$ 在 $[-\pi,\pi]$, 一个 100 神经元宽的单隐藏层网络可达 MSE $< 10^{-4}$。 来源说明: 此数字例为教材 / 课程讲义中常见的经验性陈述, 未对应特定可引用的论文 / benchmark; 实测数值随激活函数 (tanh / ReLU)、优化器 (Adam / L-BFGS)、训练步数、目标函数正则化、超参数 (学习率、网络宽度)等不同而差异显著, 不能跨场景移植。提示: 定理是"存在", 算法是"找到", 两件事不一样。来源: 04. 函数逼近 §万能逼近

卡片 42 (公式) 🔴¶

Q: 多元二阶泰勒展开在 $x=0$ 处的特殊形式 $f(\mathbf{x}) \approx f(\mathbf{0}) + \nabla f(\mathbf{0})^\top \mathbf{x} + \frac{1}{2}\mathbf{x}^\top H(\mathbf{0}) \mathbf{x}$ 在 ML 哪里用? A: 牛顿法的二阶优化更新: $\mathbf{x}_{n+1} = \mathbf{x}_n - H^{-1}\nabla f$ — 把 $f$ 局部近似成二次型, 直接跳到该二次型的极小点 (回引 Ch03 §05 牛顿法)。也用在损失景观分析: 在最优点附近, 损失 ≈ $\frac{1}{2}(\mathbf{x}-\mathbf{x}^* )^\top H(\mathbf{x}-\mathbf{x}^*)$ — Hessian 的特征值决定各方向曲率, 决定学习率该取多大。来源: 04. 函数逼近 §泰勒与优化 (回引 §05)

§05 优化 (8 张)¶

卡片 43 (公式) 🟢¶

Q: 梯度下降更新公式 $\mathbf{x}_{n+1} = \mathbf{x}_n - \eta \nabla f(\mathbf{x}_n)$? 三要素是什么? A: 三要素: 当前参数 $\mathbf{x}_n$ (shape $(n,)$)、学习率 $\eta>0$ (标量)、梯度 $\nabla f(\mathbf{x}_n) \in \mathbb{R}^n$ (列向量)。 - 沿负梯度走 = 下坡 (回引卡 22) - $\eta$ 太大: 跨过极小点震荡; $\eta$ 太小: 收敛慢数字例: $f(x,y)=(x-3)^2+(y+1)^2$, 起点 $(0,0)$, $\eta=0.1$: 第 1 步 $$ \nabla f=\begin{pmatrix}-6\2\end{pmatrix} $$, 更新得 $(0.6, -0.2)$。来源: 05. 优化 §梯度下降

卡片 44 (公式) 🟡¶

Q: 牛顿法优化更新 $\mathbf{x}_{n+1} = \mathbf{x}_n - H^{-1}\nabla f(\mathbf{x}_n)$ 的代价与适用场景? A: 每次迭代要算 Hessian ($n\times n$) 并求逆, $O(n^3)$, 二次收敛 (每步正确位数约翻倍)。适用: 小规模光滑问题 (参数量 $n \le 10^4$)。不适用: 深度学习 ($n \ge 10^6$ 级), 此时用一阶方法 (SGD/Adam) 或拟牛顿 (L-BFGS)。数字例: 求 $\sqrt{5}$, $x_0=2$, 第 1 步 $x_1 = 2 - (4-5)/4 = 2.25$, 第 2 步已到 $2.2361\ldots$ (4 位正确)。来源: 05. 优化 §牛顿法

卡片 45 (定义) 🟡¶

Q: 凸函数的定义 + 核心性质? A: 定义: $f(\lambda x + (1-\lambda)y) \le \lambda f(x) + (1-\lambda)f(y)$, 对任意 $x,y$ 和 $\lambda \in [0,1]$ — 函数图像上任意两点连线都在图像上方。核心性质: 每个局部极小都是全局极小 (凸函数没有骗人低谷)。等价判别 (二阶): 若 $f''(x) \ge 0$ 对所有 $x$ 成立, 则 $f$ 是凸函数。数字例: $f(x)=x^2$ 凸; $f(x)=x^3$ 在 $\mathbb{R}$ 上非凸。来源: 05. 优化 §凸性

卡片 46 (公式) 🟡¶

Q: 拉格朗日乘子法解约束优化 $\max f$ s.t. $g=c$ 的几何洞察 + 方程? A: 几何洞察: 在最优点, $\nabla f$ 与 $\nabla g$ 平行 — 否则沿约束方向走还能继续优化。方程: 引入乘子 $\lambda$ (此处 $\lambda$ 指拉格朗日乘子), 拉格朗日函数 $\mathcal{L}(x,y,\lambda)=f(x,y)-\lambda(g(x,y)-c)$。必要条件: $\nabla \mathcal{L} = \mathbf{0}$, 即 $\frac{\partial\mathcal{L}}{\partial x}=0, \frac{\partial\mathcal{L}}{\partial y}=0, \frac{\partial\mathcal{L}}{\partial\lambda}=0$。数字例: $\max x^2y$ s.t. $x^2+y^2=1$, $\mathcal{L}=x^2y-\lambda(x^2+y^2-1)$, 解得 $y=1/\sqrt{3}$, $f_{\max}=2/(3\sqrt{3})$。来源: 05. 优化 §拉格朗日 (此处 $\lambda$ = 拉格朗日乘子)

卡片 47 (直觉) 🟡¶

Q: $\lambda$ 在本书三种语境下的区分 (拉格朗日乘子 vs Ridge 正则化系数 vs 特征值)? A: 1. 拉格朗日乘子 ($\lambda_{\text{Lag}}$, §05 卡 46): 约束 $g=c$ 的"影子价格", 约束松一单位目标变化多少, 无固定符号。 2. Ridge 正则化系数 ($\lambda_{\text{reg}} \ge 0$, Ch04): $\min \|y-X\beta\|^2+\lambda_{\text{reg}}\|\beta\|^2$, 控制惩罚强度, 实际是 $\|\beta\|^2 \le t$ 的对偶乘子。 3. 特征值 ($\lambda_{\text{eig}}$, Ch02 / 卡 29): $A\mathbf{v}=\lambda_{\text{eig}}\mathbf{v}$, 矩阵固有伸缩因子, 无约束/正则语义。

名字	出现位置	语义	符号约束
$\lambda_{\text{Lag}}$	卡 46, 约束方程旁	影子价格	任意实数
$\lambda_{\text{reg}}$	Ch04 Ridge 损失	惩罚强度	$\ge 0$
$\lambda_{\text{eig}}$	卡 29 / Ch02 特征向量方程	伸缩因子	实对称矩阵任意实

判断三步: 它挂在约束旁? 范数惩罚前? 特征向量方程里? 来源: 05. 优化 §$\lambda$ 多义

卡片 48 (反例/易错) 🟡¶

Q: "梯度下降总能找到全局极小"对凸函数/非凸函数分别如何? A: - 凸函数 (如 $f(x)=x^2$): ✓ 总能找到全局极小 (任意起点)。凸函数没有局部极小 ≠ 全局极小的情况。 - 非凸函数 (如 $f(x)=x^4 - 2x^2$, 双峰): ✘ 可能困在局部极小。

数字例: $f(x)=x^4-2x^2$, $f'(x)=4x^3-4x=4x(x-1)(x+1)$。 - 临界点: $x=0$ (鞍点, $f=0$), $x=\pm 1$ ($f=-1$, 极小)。 - 起点 $x_0=0.5$, 沿负梯度走可能陷入最近吸引域内的极小点 $x=1$ ($f=-1$); - 起点 $x_0=-1.2$, 可能陷入 $x=-1$ ($f=-1$); - 此函数恰有两个全局极小 ($x=\pm 1$, $f=-1$), 起点不同落在不同峰, 都达到全局极小值, 但位置不同。 - 真正的非凸陷阱: 若函数有多个不同值的极小 (如 $-x^4+2x^2$), 梯度下降常落入局部, 错过全局。提示: ML 损失几乎都是非凸, 所以"局部极小"是常见话题。来源: 05. 优化 §非凸陷阱

卡片 48.5 (公式) 🔴¶

Q: 凸函数 + 梯度下降保证收敛到全局极小的完整 5 条件是什么? A (定理陈述, 卡 48 是反例; 此卡是理论版): 对 $f: \mathbb{R}^n \to \mathbb{R}$ 做梯度下降 $\mathbf{x}_{k+1} = \mathbf{x}_k - \eta \nabla f(\mathbf{x}_k)$, 若同时满足:

凸性: $f$ 是凸函数 (即 $f(\lambda x + (1-\lambda)y) \le \lambda f(x) + (1-\lambda)f(y)$);
可微: $f$ 在 $\mathbb{R}^n$ 上处处可微;
Lipschitz 梯度: $\nabla f$ 是 $L$-Lipschitz 连续, 即 $\|\nabla f(\mathbf{x}) - \nabla f(\mathbf{y})\| \le L\|\mathbf{x} - \mathbf{y}\|$;
步长范围: $\eta \le 1/L$ (固定步长);
最小值存在: $\arg\min f$ 非空 (在 $\mathbb{R}^n$ 上可能有界下界可达);

则梯度下降收敛到全局极小 (Bubeck 等, 2015)。

数字例: $f(\mathbf{x}) = \frac{1}{2}\|\mathbf{x}\|^2$, $L=1$, $\eta=1$: 一步 $\mathbf{x}_{k+1} = \mathbf{x}_k - \eta\mathbf{x}_k = \mathbf{0}$, 直接收敛到全局极小 0 ✓。

若任一条件不满足 (如去掉凸性 → 卡 48 非凸), 收敛到全局极小无保证。来源: 05. 优化 §凸优化收敛定理 (Bubeck 2015 §4)

卡片 49 (公式) 🔴¶

Q: 两层网络 $L=\|W_2\, \sigma(W_1 \mathbf{x})\|^2$ 对 $W_1$ 的梯度公式怎么算? A: 设定: - 输入 $\mathbf{x}\in\mathbb{R}^n$, 第一层参数 $W_1\in\mathbb{R}^{h\times n}$, 第二层 $W_2\in\mathbb{R}^{m\times h}$ - 隐藏层 $\mathbf{h} = \sigma(W_1\mathbf{x})$ ($\sigma$ 逐元素), 输出 $\hat{\mathbf{y}} = W_2\mathbf{h}$, 损失 $L=\|\hat{\mathbf{y}}-\mathbf{y}\|^2$ - 简化为 $L=\|\hat{\mathbf{y}}\|^2$ 以突出梯度链, 完整公式含 $\hat{\mathbf{y}}-\mathbf{y}$

推导 (按链式法则从右往左): 1. $\nabla_{\hat{\mathbf{y}}} L = 2\hat{\mathbf{y}}$ (shape $(m,)$) 2. $\nabla_{\mathbf{h}} L = W_2^\top \nabla_{\hat{\mathbf{y}}} L = W_2^\top (2\hat{\mathbf{y}})$ (shape $(h,)$) — 因为 $\hat{\mathbf{y}}=W_2\mathbf{h}$ 3. $\nabla_{W_1} L$ 是 $(h,n)$ 矩阵, 每个元素 $(i,j)$ 是 $\partial L/\partial (W_1)_{ij}$。按外积公式: $$\nabla_{W_1} L = (\nabla_{\mathbf{h}} L \odot \sigma'(W_1\mathbf{x})) \cdot \mathbf{x}^\top$$ 其中 $\odot$ 是逐元素乘 (Jacobian 对角近似, 因 $\sigma$ 逐元素), 最后外积 $(h,)\cdot(n,)=(h,n)$ ✓。

完整链: $$\nabla_{W_1} L = \Big[\sigma'(W_1\mathbf{x}) \odot (W_2^\top \nabla_{\hat{\mathbf{y}}} L)\Big] \cdot \mathbf{x}^\top$$

Shape 自洽: | 项 | shape | 备注 | |----|-------|------| | $\nabla_{\hat{\mathbf{y}}} L$ | $(m,)$ | 列向量 | | $W_2^\top \nabla_{\hat{\mathbf{y}}} L$ | $(h,)$ | 反向传播回去的信号 | | $\sigma'(W_1\mathbf{x})$ | $(h,)$ | 逐元素 | | $\mathbf{x}$ | $(n,)$ | 输入 | | $\nabla_{W_1} L$ | $(h, n)$ | = $W_1$ 同 shape ✓ |

来源: 05. 优化 §两层网络梯度 (shape 检查)

卡片 50 (跨章桥) 🔴¶

Q: Ch02 矩阵乘法 $\frac{\partial\mathbf{y}}{\partial\mathbf{z}}=\frac{\partial\mathbf{y}}{\partial\mathbf{x}}\cdot\frac{\partial\mathbf{x}}{\partial\mathbf{z}}$ 在深度学习训练里就是什么? A: 反向传播 (backpropagation): 损失 $L$ 对每层参数 $W^{(l)}$ 的梯度 = 沿计算图反向, 各层 Jacobian 矩阵连乘 (回引 Ch03 卡 27)。流程: 前向算 $\hat{y}$; 反向从 $\partial L/\partial\hat{y}$ 出发, 沿图每条边乘以当地 VJP (回引卡 32: autograd 算 VJP, 不是 Jacobian), 把梯度传到所有 $W^{(l)}$。数字例: 两层网络 $L=\|W_2\sigma(W_1 x)\|^2$, 链上 VJP 相乘得到 $\nabla_{W_1} L$ (回引卡 49 显式公式)。提示: 没有 Ch02 §04 矩阵乘法和 Ch03 §03 多元链式法则, 反向传播的数学骨架就立不起来 — 这两章是 ML 训练的几何地基。来源: 05. 优化 §backprop = VJP 链 (回引 Ch02 §04 + Ch03 卡 27, 32)

名字	出现位置	语义	符号约束
\(\lambda_{\text{Lag}}\)	卡 46, 约束方程旁	影子价格	任意实数
\(\lambda_{\text{reg}}\)	Ch04 Ridge 损失	惩罚强度	\(\ge 0\)
\(\lambda_{\text{eig}}\)	卡 29 / Ch02 特征向量方程	伸缩因子	实对称矩阵任意实