第24章 · 数值分析与凸优化补遗 · 总览¶

章节定位: ML/DL 算法工程师的"数学底层" — 浮点精度 / 数值稳定性 / 凸优化 / 二阶方法 / 分布式优化 章节字数: ~7 节正文 / ~10 万字 配套教辅: 本总览 + 各节精讲 + 案例研究版本: v1.0 (2026-07-31)

一 · 一句话总览¶

数值优化 = ML 工程的"地基"。浮点误差 / 病态矩阵 / 局部最优 / 收敛性, 任何一个都会让训练失败。本章 = 工程师的"避坑手册"。

二 · 章节地图¶

Ch24 数值分析与凸优化
├── §01 浮点与数值稳定性
│    - IEEE 754 半精度 (FP16) / bfloat16
│    - 数值稳定性 / 病态问题
│    - Kahan 求和 / Softmax Trick
├── §02 迭代法与稀疏线代
│    - Conjugate Gradient / GMRES
│    - 稀疏矩阵存储 (CSR / COO / ELL)
│    - 预条件子
├── §03 凸集与凸函数
│    - 凸集 / 凸包 / 锥
│    - 凸函数判别 (Hessian 半正定)
│    - 强凸 / 平滑
├── §04 对偶与 KKT
│    - Lagrange 对偶
│    - KKT 条件
│    - SVM 推导 / 几何解释
├── §05 二阶方法
│    - Newton / Quasi-Newton (BFGS / L-BFGS)
│    - Trust Region
│    - Natural Gradient (Fisher 信息矩阵)
├── §06 内点法与约束优化
│    - Barrier Method
│    - 投影梯度 / Frank-Wolfe
│    - 序列二次规划 (SQP)
└── §07 分布式与随机优化
     - Async SGD / Hogwild!
     - 同步 SGD / AllReduce
     - 联邦学习 (FedAvg)

三 · 关键概念 50+¶

3.1 数值基础¶

IEEE 754 (FP32 / FP16 / bfloat16)
机器精度 (machine epsilon)
浮点误差 (舍入 / 截断)
条件数 (Condition Number)
数值稳定性
Kahan 求和 / Compensated Summation
Softmax Trick (max subtraction)

3.2 线性代数¶

矩阵分解 (LU / QR / SVD / Cholesky)
特征值 / 特征向量
稀疏矩阵 (CSR / COO / ELL)
Conjugate Gradient (CG)
GMRES / BiCGSTAB
预条件子 (Jacobi / ILU / AMG)

3.3 凸优化基础¶

凸集 / 凸函数
凸包 / 凸锥
强凸 / 平滑
Lipschitz 常数
共轭函数
Moreau 包络

3.4 对偶与 KKT¶

Lagrange 乘子
对偶问题
弱对偶 / 强对偶
Slater 条件
KKT 条件
互补松弛
Fenchel-Rockafellar

3.5 二阶方法¶

Newton 方法
Quasi-Newton (BFGS / L-BFGS / SR1)
Trust Region
Line Search (Armijo / Wolfe)
自然梯度 (Natural Gradient)
Fisher 信息矩阵
K-FAC / Shampoo
信赖域 (Trust Region)

3.6 约束优化¶

内点法 (Interior Point)
投影梯度 (Projected Gradient)
Frank-Wolfe 算法
序列二次规划 (SQP)
ADMM (Alternating Direction)
增广 Lagrangian

3.7 分布式优化¶

同步 SGD
异步 SGD / Hogwild!
AllReduce / Parameter Server
联邦学习 (FedAvg)
弹性平均 (Elastic Averaging)
拜占庭鲁棒 (Byzantine-Robust)

四 · 学习路径¶

入门 (Week 1):
  §01 浮点 + §02 稀疏线代 (ML 工程基础)

核心 (Week 2-3):
  §03-§04 凸集 + 对偶与 KKT

进阶 (Week 4-5):
  §05-§06 二阶方法 + 约束优化

实战 (Week 6):
  §07 分布式与随机优化 (大模型训练关键)

五 · 推荐阅读¶

Boyd & Vandenberghe, "Convex Optimization", 2004
Nocedal & Wright, "Numerical Optimization", 2006
Trefethen & Bau, "Numerical Linear Algebra", 1997
Higham, "Accuracy and Stability of Numerical Algorithms", 2002
张贤达, "矩阵分析与应用", 2004

六 · 与其他章节连接¶

章节	关联
Ch01-02	数值线代
Ch06	优化基础
Ch17	量化与数值精度
Ch18	分布式系统