跳转至

整本书脉络地图 · AI 全栈工程师 25 章

一句话定位: 25 章从"数学"到"前沿"再到"对齐·评估·Agent·优化·面试"一气贯通, 形成 AI 全栈工程师 6-9 个月速成手册。 使用建议: 第一次读完整本书前, 通读本文 30 分钟; 之后每次进入新一章前, 回看对应章节的"承前→启后"即可。 阅读路径: 全文 8000 字 / 阅读 25 分钟 / 含 12 张 Mermaid 图 版本: v1.0 (2026-07-31) — 扩到 25 章 (新增 Ch21 对齐/Ch22 Eval/Ch23 Agent/Ch24 数值优化/Ch25 面试)


第 0 章 · 整本书地图 (入口)

0.1 书的骨架

[基础层]    Ch01-05  数学 (线性代数 / 矩阵 / 概率 / 统计 / 贝叶斯)
[核心层]    Ch06      经典 ML + RL
[模型层]    Ch07-08  NLP (Transformer) + CV (CNN/Diffusion)
[感知层]    Ch09-10  语音 + 多模态
[行动层]    Ch11      自主系统 / VLA / 机器人
[专题层]    Ch12      图神经网络 / 3D GNN
[系统层]    Ch13-16  架构 / OS / 算法 / SIMD / GPU
[工程层]    Ch17-18  AI 推理 / ML 系统
[应用层]    Ch19      金融 / 蛋白 / 药物 / Agent / 医疗
[前沿层]    Ch20      量子 ML / 神经形态 / 太空 / 去中心化 / BMI

0.2 知识流的 5 大主线

主线 1 · 数学 → ML
   Ch01 → Ch02 → Ch03 → Ch04 → Ch05 → Ch06

主线 2 · NLP → 通用智能
   Ch07 §01-05 (文本预处理 → 词嵌入 → RNN → Transformer → LLM)
   +
   Ch07 §06 (2024-2026 前沿: Test-Time Compute / o1 / Mamba-2 / DiT)

主线 3 · 视觉 → 多模态 → 行动
   Ch08 (CNN → Diffusion → 视频)
   Ch09 (语音) + Ch10 (多模态) → Ch11 (VLA, 机器人 + 视觉语言动作)

主线 4 · 硬件栈 → 推理系统
   Ch13 (OS/架构) → Ch14 (算法) → Ch15 (工程) → Ch16 (SIMD/GPU)
   → Ch17 (推理: 量化 + 高效架构 + 服务) → Ch18 (ML 平台)

主线 5 · 应用 → 前沿
   Ch19 (金融/蛋白/药物/Agent/医疗)
   → Ch20 (量子/神经形态/太空/去中心化/BMI)

0.3 三个学习出口

目标 路径 章节
算法研究员 深度学习 + 多模态 + 前沿 Ch01→Ch08→Ch11→Ch12→Ch18→Ch20
应用工程师 LLM + 推理 + 部署 Ch07→Ch15→Ch16→Ch17→Ch19
全栈 AI 工程师 全部 Ch01→Ch20 (6 个月)

第 1 章 · 基础层 (Ch01-05) — 数学的 5 把钥匙

1.1 章节定位

数学是 AI 工程师的"母语"。5 章覆盖:线性代数 → 矩阵论 → 概率 → 统计 → 贝叶斯。

1.2 章节主线

Ch01 线性代数
   ↓ 升维
Ch02 矩阵论 (SVD, 特征分解)
   ↓ 不确定性
Ch03 概率与梯度 (随机变量, 优化)
   ↓ 推断
Ch04 统计 (估计, 检验)
   ↓ 决策
Ch05 贝叶斯与信息论 (先验, 后验, 熵)

1.3 关键概念地图

章节 核心公式 应用场景
Ch01 \(\mathbf{Ax} = \lambda \mathbf{x}\) PCA, 词嵌入, 推荐
Ch02 \(\mathbf{A} = \mathbf{U\Sigma V}^T\) Transformer 注意力, 推荐
Ch03 \(P(A\|B) = \frac{P(B\|A)P(A)}{P(B)}\) 医学诊断, 贝叶斯
Ch04 \(\hat{\theta} = \arg\max_\theta \log P(D\|\theta)\) MLE, MAP
Ch05 \(H(X) = -\sum p \log p\) 交叉熵, KL

1.4 学习路径

  • 入门: 上课 + Gilbert Strang 线性代数
  • 进阶: Bishop PRML Ch1-5
  • 应用: PyTorch torch.linalg 实操

第 2 章 · 核心层 (Ch06) — 经典 ML + RL

2.1 章节定位

Ch06 是"数学→ML"的桥梁。5 大子领域: 经典 ML、梯度 ML、深度学习、函数式 (autograd)、强化学习。

2.2 章节主线

Ch06 §01 经典 ML (线性回归, SVM, 决策树, XGBoost)
   ↓ 梯度
Ch06 §02 梯度 ML (梯度下降, Adam)
   ↓ 神经网络
Ch06 §03 深度学习 (CNN, RNN, ResNet)
   ↓ autograd
Ch06 §04 函数式 (PyTorch, 自动微分)
   ↓ RL
Ch06 §05 强化学习 (MDP, PPO, RLHF, GRPO)

2.3 关键概念地图

章节 核心算法 进阶
§01 线性回归, XGBoost 集成学习
§02 SGD, Adam LAMB, Lion
§03 CNN, ResNet Vision Transformer
§04 autograd, vmap JAX
§05 PPO, A3C GRPO, RLAIF

2.4 跨章节衔接

  • 承接 Ch01-05: 数学 → 算法实现
  • 启后 Ch07-19: 经典 ML → 深度学习 → LLM → 应用

第 3 章 · 模型层 (Ch07-08) — NLP + CV

3.1 章节定位

Ch07 (NLP) 和 Ch08 (CV) 是当代 AI 两大支柱。Ch07 统治语言, Ch08 统治图像/视频; Ch07-Ch08 共有 Transformer 骨干。

3.2 Ch07 NLP 章节主线

Ch07 §01 文本预处理 (tokenization, BPE)
   ↓ 词嵌入
Ch07 §02 词嵌入 (Word2Vec, GloVe, ELMo)
   ↓ 序列模型
Ch07 §03 RNN/LSTM
   ↓ 注意力革命
Ch07 §04 Transformer 与注意力 (QKV, 多头, RoPE)
   ↓ 预训练规模化
Ch07 §05 预训练大模型 (GPT, BERT, RLHF, DPO, GRPO)
   ↓ 前沿
Ch07 §06 2024-2026 前沿专题 (Test-Time Compute / o1 / DeepSeek-V3 / Mamba-2 / DiT / PagedAttention)

3.3 Ch08 CV 章节主线

Ch08 §01 CNN (卷积, 池化)
   ↓ 现代架构
Ch08 §02 现代架构 (ResNet, EfficientNet, ViT)
   ↓ 目标检测
Ch08 §03 检测 / 分割 (YOLO, DETR, Mask R-CNN)
   ↓ 生成革命
Ch08 §04 Diffusion (DDPM, Score, Latent)
   ↓ 视频生成
Ch08 §05 视频 / 3D (NeRF, 4D)
   ↓ 前沿
Ch08 §06 2024-2026 多模态生成前沿 (DiT, Sora, FLUX, Sana, 多模态 LMM)

3.4 关键概念地图

章节 核心 论文
Ch07 §04 Attention \(QK^T/\sqrt{d_k}\) Vaswani 2017
Ch07 §05 GPT, BERT, RLHF Brown 2020, Ouyang 2022
Ch08 §01 CNN conv LeCun 1998
Ch08 §04 DDPM, Score Ho 2020, Song 2021
Ch08 §06 DiT, Sora Peebles 2023, OpenAI 2024

3.5 跨章节衔接

  • Ch07 §04 ↔ Ch08 §02: Transformer 通用 (ViT 把 patch 当 token)
  • Ch07 §05 ↔ Ch08 §06: LLM 跨模态 (GPT-4o)
  • Ch07 §06 ↔ Ch17 §02: 推理侧深化

第 4 章 · 感知层 (Ch09-10) — 语音 + 多模态

4.1 章节定位

Ch09 语音、Ch10 多模态代表 AI 感知能力的拓展。从单一文本/图像, 拓展到语音、视频、跨模态。

4.2 章节主线

Ch09 语音
   §01 语音基础 (STFT, 梅尔谱)
   §02 声学模型 (HMM, GMM-HMM)
   §03 端到端 ASR (Whisper, wav2vec)
   §04 说话人识别 (x-vector, ECAPA)
   §05 TTS (Tacotron 2, FastSpeech 2, VITS)
   §06 2024-2026 语音前沿 (VALL-E 2, GPT-4o Voice, Suno v4)

Ch10 多模态
   §01-05 多模态对齐 (CLIP, BLIP, LLaVA, LMM)

4.3 关键概念地图

章节 核心 论文
Ch09 §03 Whisper, USM OpenAI 2022, Google 2023
Ch09 §05 Tacotron 2, FastSpeech 2 Google 2017, 2020
Ch09 §06 VALL-E 2, Suno v4 Microsoft 2024, Suno 2024
Ch10 §05 CLIP, BLIP OpenAI 2021, Salesforce 2022

4.4 跨章节衔接

  • Ch09 ↔ Ch10: 语音 + 视觉 = 多模态
  • Ch09 §06 ↔ Ch07 §06: GPT-4o Voice = 多模态 LLM
  • Ch10 ↔ Ch11: 多模态 → 行动 (VLA)

第 5 章 · 行动层 (Ch11) — 自主系统 / VLA

5.1 章节定位

Ch11 把 AI 从"感知"推向"行动"。VLA (Vision-Language-Action) 模型让 LLM 走出屏幕, 操控机器人。

5.2 章节主线

Ch11 §01 感知 (SLAM, 配准)
   ↓ 决策
Ch11 §02 机器人学习 (模仿, RL)
   ↓ VLA
Ch11 §03 VLA 模型 (RT-2, π0, OpenVLA)
   ↓ 自动驾驶
Ch11 §04 自动驾驶 (Waymo, Tesla, Apollo)
   ↓ 极端
Ch11 §05 太空与极端机器人 (Mars, 月球, 人形)

5.3 关键概念地图

章节 核心 代表
§01 SLAM, ORB-SLAM Mur-Artal 2017
§02 模仿学习, PPO Argall 2009
§03 VLA, Token 化动作 RT-2 (Google 2023)
§04 BEV, 端到端 Tesla 2024
§05 Ingenuity, 人形 NASA 2021

5.4 跨章节衔接

  • Ch11 §03 ↔ Ch07 §05: VLA = LLM + 动作 token
  • Ch11 §03 ↔ Ch10 §05: VLA = 多模态 + 行动
  • Ch11 §02 ↔ Ch06 §05: 机器人 RL = RLHF/GRPO

第 6 章 · 专题层 (Ch12) — 图神经网络

6.1 章节定位

Ch12 把"非欧几何"几何化: GNN + 3D GNN。AlphaFold 3 + 药物发现是 3D GNN 落地。

6.2 章节主线

Ch12 §01 几何深度学习 (对称性, 群论)
   ↓ 图论
Ch12 §02 图论 (节点, 边, 路径)
   ↓ GNN 基础
Ch12 §03 GNN (GCN, SAGE, GIN)
   ↓ 注意力
Ch12 §04 GAT / Graphormer
   ↓ 3D
Ch12 §05 3D GNN (SchNet, DimeNet, EGNN, Equiformer)
   ↓ 前沿
Ch12 §06 2024-2026 3D GNN 前沿 (AlphaFold 3, RoseTTAFold AA, MACE, Allegro)

6.3 关键概念地图

章节 核心 论文
§03 GCN, SAGE Kipf 2017, Hamilton 2017
§04 GAT, Graphormer Veličković 2018, Ying 2021
§05 EGNN, Equiformer Satorras 2021, Liao 2022
§06 AlphaFold 3, MACE Abramson 2024, Batatia 2023

6.4 跨章节衔接

  • Ch12 §05 ↔ Ch19 §02: AlphaFold 系列
  • Ch12 §06 ↔ Ch19 §03: 药物发现
  • Ch12 §03 ↔ Ch19 §01: 反欺诈图

第 7 章 · 系统层 (Ch13-16) — 硬件栈

7.1 章节定位

Ch13-16 是AI 工程师的内功。从架构 → OS → 算法 → 工程 → SIMD/GPU, 决定 AI 跑得多快。

7.2 章节主线

Ch13 系统与 OS
   §01 离散数学
   §02 计算机架构 (CPU, GPU, TPU, NPU)
   §03 OS (进程, 线程, 内存)
   §04 并发并行 (Lock, Actor, Future)
   §05 编程语言 (C++, Rust, Python)

Ch14 数据结构与算法
   §01-06 树 / 图 / 哈希 / 排序 / 动态规划

Ch15 软件工程
   §01 Linux 基础
   §02 Git
   §03 代码设计
   §04 测试
   §05 DevOps (Docker, K8s)

Ch16 SIMD / GPU
   §00 SIMD/GPU 编程总览 (SIMD/SIMT/CUDA/Triton/TPU/RISC-V/Vulkan)
   §01-09 2024-2026 硬件前沿 (H100/B200/GB200/WGMMA/Triton 3/国产芯片)

7.3 关键概念地图

章节 核心 论文
Ch13 §02 CPU/GPU/TPU 架构 Hennessy 2017
Ch14 §01 LCS, 区间 DP CLRS
Ch15 §05 Docker, K8s OCI 2015, CNCF 2015
Ch16 §00 SIMD, CUDA, Triton NVIDIA 2007

7.4 跨章节衔接

  • Ch13-15 ↔ Ch17: 系统知识 → 推理服务
  • Ch16 ↔ Ch17 §02: GPU 加速 → LLM 推理
  • Ch16 ↔ Ch08 §04: GPU CUDA → Diffusion 训练

第 8 章 · 工程层 (Ch17-18) — 推理 + 系统

8.1 章节定位

Ch17 教"如何把模型部署到生产", Ch18 教"生产级 ML 系统如何设计"。

8.2 章节主线

Ch17 AI 推理
   §00 AI 推理总览 (量化 + 架构 + 服务 + 边缘 + 大规模)
   §01 2024-2026 推理前沿 (BitNet b1.58, FA3, Mamba-2, DeepSeek-V3)
   §02 2024-2026 高效架构前沿 (Flash Attention 3, Mamba-2 SSD, DeepSeek-V3 MoE+FP8)
   §03-05 推理服务 (vLLM, SGLang, Speculative Decoding, 边缘)

Ch18 ML 系统设计
   §01-04 生产 ML (Feature Store, 监控, 成本, A/B)

8.3 关键概念地图

章节 核心 论文
Ch17 §00 PagedAttention, Flash Attention Kwon 2023, Dao 2022
Ch17 §02 Mamba-2, DeepSeek-V3 Dao 2024, DeepSeek 2025
Ch18 §04 Feature Store, 监控 Google 2017

8.4 跨章节衔接

  • Ch17 ↔ Ch07-08: 推理 LLM / Diffusion
  • Ch17 ↔ Ch16: 硬件加速 → 推理
  • Ch18 ↔ Ch19: 系统 → 应用

第 9 章 · 应用层 (Ch19) — 5 大行业

9.1 章节定位

Ch19 把 AI 落地到5 大行业: 金融 + 生命科学 + 药物 + Agent + 医疗。

9.2 章节主线

Ch19 §01 金融 (量化, 风控, 反欺诈)
   §02 蛋白设计 (AlphaFold 2/3, RFdiffusion)
   §03 药物发现 (DiffDock, 分子生成)
   §04 Agent (ReAct, RAG, Tool, Computer Use)
   §05 医疗 (影像, 临床, 联邦学习)

9.3 关键概念地图

章节 核心 论文
§01 Qlib, Sharpe Microsoft 2020
§02 AlphaFold 2/3 Jumper 2021, Abramson 2024
§03 DiffDock, RFDiff Corso 2022, Watson 2023
§04 ReAct, MCP Yao 2022, Anthropic 2024
§05 USMLE 90% Nori 2024

9.4 跨章节衔接

  • Ch19 §02-03 ↔ Ch12 §05-06: 蛋白 → 3D GNN
  • Ch19 §04 ↔ Ch07 §05: Agent = LLM + Tool
  • Ch19 §05 ↔ Ch18 §01: 医疗 AI = ML 系统

第 10 章 · 前沿层 (Ch20) — 5 大前沿

10.1 章节定位

Ch20 探索 AI 的未来边界: 量子 ML / 神经形态 / 太空 / 去中心化 / BMI。

10.2 章节主线

Ch20 §01 量子 ML (VQE, QAOA)
   §02 神经形态 (Loihi, SpiNNaker)
   §03 太空数据中心 (Starlink, LEO)
   §04 去中心化 AI (BitNet, 联邦)
   §05 脑机接口 (Neuralink, BMI)

10.3 关键概念地图

章节 核心 论文
§01 VQE, QAOA Biamonte 2017
§02 Loihi 2 Intel 2021
§03 Starlink, LEO 卫星 SpaceX 2024
§04 BitNet, 联邦 Ma 2024
§05 Neuralink Musk 2024

第 11 章 · 跨章节索引

11.1 共享概念 (跨 5+ 章)

概念 出现章节
Transformer Ch07 §04 / Ch08 §02 / Ch11 §03 / Ch12 §04 / Ch17 §02 / Ch19 §04
Diffusion Ch08 §04-06 / Ch12 §05 / Ch19 §02 (AlphaFold 3)
RL / PPO Ch06 §05 / Ch07 §05 / Ch11 §02 / Ch11 §03 / Ch19 §04
MoE Ch07 §05 / Ch17 §02 / Ch17 §00
量化 Ch16 §00 / Ch17 §00 / Ch17 §02
自监督 Ch07 §05 / Ch08 §02 / Ch11 §03
评测基准 Ch07 §05 / Ch19 §05

11.2 共享论文 (跨 3+ 章)

论文 章节
Vaswani 2017 Attention Ch07 §04 / Ch08 §02 / Ch11 §03 / Ch12 §04
AlphaFold 2/3 Ch12 §05-06 / Ch19 §02
PPO Ch06 §05 / Ch07 §05 / Ch11 §02
DPO Ch07 §05 / Ch07 §06 / Ch19 §04
GRPO Ch06 §05 / Ch07 §05 / Ch07 §06
Flash Attention Ch16 §00 / Ch17 §00 / Ch17 §02
VALL-E / Voice Ch09 §05-06 / Ch10 §05
Mamba-2 Ch07 §06 / Ch17 §02

11.3 共享代码模块 (跨章复用)

模块 章节
PyTorch 模型 Ch06 §03-04 / Ch07-08 / Ch11-12
Transformers 库 Ch07-08 / Ch11 §03 / Ch17 §00
PyTorch Geometric Ch12 §03-06
BitsAndBytes Ch17 §00
vLLM Ch17 §00 / Ch17 §02 / Ch19 §04
LangChain Ch19 §04

11.4 共享数据集 (跨章复用)

数据集 章节
ImageNet Ch08 §01-02 / Ch19 §05
GLUE Ch07 §05
COCO Ch08 §03 / Ch10 §05
LibriSpeech Ch09 §03-04
PDB Ch12 §05-06 / Ch19 §02
MIMIC-III Ch19 §05

第 12 章 · 5 大主题地图

12.1 主题 1 · 注意力机制 (核心)

Ch07 §04 Transformer (mmHA, RoPE, ALiBi)
   ↓ 应用
Ch12 §04 Graphormer (Graph + Attention)
   ↓ 高效
Ch16 §00 / Ch17 §02 Flash Attention (IO 优化)
   ↓ 前沿
Ch07 §06 / Ch17 §00 Native Sparse Attention 2025

12.2 主题 2 · 预训练 + 规模化

Ch07 §05 GPT/BERT (1B → 175B)
   ↓ Scaling Law
Ch07 §06 DeepSeek-V3 (671B MoE)
   ↓ 工程
Ch17 §02 FP8 + MLA

12.3 主题 3 · RL + 对齐

Ch06 §05 PPO (2017)
   ↓ LLM
Ch07 §05 RLHF (InstructGPT, 2022)
   ↓ 简化
Ch07 §05 DPO (2023) / GRPO (2024) / RLAIF (2024)
   ↓ 推理
Ch07 §06 Test-Time Compute / o1 (2024)

12.4 主题 4 · 生成式 AI

Ch08 §04 Diffusion (DDPM, Score)
   ↓ Transformer
Ch08 §06 DiT (2023)
   ↓ 视频
Ch08 §06 / Ch07 §06 Sora (2024)
   ↓ 实时
Ch09 §06 GPT-4o Voice (2024)

12.5 主题 5 · RLHF / Agent / 决策

Ch06 §05 PPO (RL 算法)
   ↓ LLM 对齐
Ch07 §05 RLHF
   ↓ Agent
Ch19 §04 ReAct / RAG / Tool / Computer Use
   ↓ 机器人
Ch11 §03 RT-2 / π0 / OpenVLA

第 13 章 · 学习路径图

13.1 入门路径 (3 个月)

Week 1-4: Ch01-05 (数学)
   ↓
Week 5-6: Ch06 (ML + RL)
   ↓
Week 7-8: Ch07 (NLP)
   ↓
Week 9-10: Ch08 (CV)
   ↓
Week 11-12: Ch09-10 (语音 / 多模态)

13.2 进阶路径 (6 个月)

入门 + 6-12 周:

Week 13-14: Ch11 (自主系统)
   ↓
Week 15-16: Ch12 (GNN)
   ↓
Week 17-18: Ch13-15 (系统 / 算法 / 工程)
   ↓
Week 19-20: Ch16 (GPU)
   ↓
Week 21-22: Ch17 (推理)
   ↓
Week 23-24: Ch19 (应用)

13.3 前沿路径 (9-12 个月)

进阶 + 4-8 周: - Ch18 (ML 系统) - Ch20 (前沿) - Ch07 §06 / Ch08 §06 / Ch09 §06 / Ch12 §06 / Ch17 §02 (5 份前沿专题)

13.4 角色导向速成

角色 时长 跳读章节
算法研究员 6 个月 Ch01-08 必读, Ch11-12 选, Ch13-20 略
LLM 工程师 4 个月 Ch07 必读, Ch17 §00/02 必读, Ch15-16 必读
CV 工程师 4 个月 Ch08 必读, Ch14 (算法) 必读, Ch16 必读
AI 应用 / Agent 5 个月 Ch07 §04-06, Ch11 §03, Ch19 §04, Ch17 §00
机器人 / VLA 6 个月 Ch11 全, Ch07 §05, Ch06 §05, Ch12 §05
AI 推理 / 部署 4 个月 Ch16-17, Ch13 §02, Ch15 §05
生命科学 AI 5 个月 Ch12 §05-06, Ch19 §02-03, Ch08 §04-06
AI 量化 / 金融 4 个月 Ch07 §05, Ch19 §01, Ch06 §05
AI 系统 / 平台 5 个月 Ch13-18 全, Ch15 §05, Ch18 §01

第 14 章 · 教学材料配套 (7 类)

14.1 每章 7 类材料

材料 作用 章节使用
信息图 1 张图看懂章节 总览
复习大纲 章节脉络 + 公式表 复习
单页 proposal 1 页演讲稿 演讲
思维导图 Mermaid 概念树 速查
闪卡 关键概念卡片 背诵
阶段测试题 选择 + 简答 + 编程 检验
讲解稿 18-30 分钟详细讲解 深度学习

14.2 总览类 (单文件)

  • zh/教辅/全局概览.md — 20 章完整摘要 (3000+ 字)
  • zh/教辅/整本书脉络地图.md (本文) — 知识骨架 + 学习路径

14.3 前沿专题 (额外)

每章添加 2024-2026 前沿专题 (5 段, 11-13 节结构): - Ch07 §06: Test-Time Compute / o1 / DeepSeek-V3 / Mamba-2 / DiT / PagedAttention - Ch08 §06: DiT / Sora / FLUX / Sana / 多模态 LMM - Ch09 §06: VALL-E 2 / GPT-4o Voice / Suno v4 / MusicGen - Ch12 §06: AlphaFold 3 / RoseTTAFold AA / Equiformer v2 / MACE - Ch17 §02: FA3 / Mamba-2 SSD / DeepSeek-V3 MoE + FP8 / BitNet b1.58


第 15 章 · 跨学科桥梁

15.1 数学 ↔ 物理

主题 数学 物理
对称性 群论 (SE(3), E(3)) 守恒律
微分 偏导, 梯度 Lagrangian
概率 KL 散度 最大熵
优化 凸优化 能量最小

15.2 数学 ↔ 生物

主题 数学 生物
序列 RNN, Transformer DNA, 蛋白
进化 强化学习 自然选择
3D 3D GNN 蛋白结构
神经网络 反向传播 神经元

15.3 机器学习 ↔ 工业

主题 ML 工业
部署 推理 生产环境
数据 数据集 ETL
资源 GPU K8s
监控 指标 Prometheus

15.4 机器学习 ↔ 神经科学

主题 ML 神经科学
学习 梯度下降 突触可塑性
注意力 Attention 注意力机制
记忆 RNN 海马体
强化 RL 多巴胺

第 16 章 · 关键论文索引 (50+ 核心)

16.1 基础设施

  1. Vaswani, "Attention Is All You Need", NeurIPS 2017
  2. LeCun, "Gradient-Based Learning", 1998
  3. Krizhevsky, "AlexNet", NeurIPS 2012
  4. He, "ResNet", CVPR 2016
  5. Hochreiter, "LSTM", 1997
  6. Kingma, "Adam", ICLR 2015
  7. Srivastava, "Dropout", JMLR 2014
  8. Ioffe, "BatchNorm", ICML 2015
  9. Glorot, "Xavier Init", AISTATS 2010
  10. Paszke, "PyTorch", NeurIPS 2019

16.2 LLM

  1. Devlin, "BERT", NAACL 2019
  2. Brown, "GPT-3", NeurIPS 2020
  3. Ouyang, "InstructGPT", NeurIPS 2022
  4. Hu, "LoRA", ICLR 2022
  5. Su, "RoPE", 2021
  6. Rafailov, "DPO", NeurIPS 2023
  7. Touvron, "LLaMA", 2023
  8. Bai, "Qwen", 2023
  9. OpenAI, "o1", 2024
  10. DeepSeek-AI, "R1", Nature 2025

16.3 高效架构

  1. Dao, "Flash Attention", NeurIPS 2022
  2. Kwon, "PagedAttention", SOSP 2023
  3. Gu, "Mamba", 2023
  4. Dao, "Mamba-2", 2024
  5. Ma, "BitNet b1.58", 2024
  6. Frantar, "GPTQ", ICLR 2023
  7. Lin, "AWQ", MLSys 2024

16.4 视觉

  1. Dosovitskiy, "ViT", ICLR 2021
  2. Liu, "Swin", ICCV 2021
  3. He, "Mask R-CNN", ICCV 2017
  4. Ho, "DDPM", NeurIPS 2020
  5. Rombach, "LDM", CVPR 2022
  6. Peebles, "DiT", ICCV 2023
  7. OpenAI, "Sora", 2024

16.5 多模态 / 语音

  1. Radford, "CLIP", ICML 2021
  2. Radford, "Whisper", ICML 2023
  3. Liu, "LLaVA", NeurIPS 2023
  4. Hurst, "GPT-4o", 2024
  5. Chen, "VALL-E 2", 2024

16.6 GNN

  1. Kipf, "GCN", ICLR 2017
  2. Hamilton, "SAGE", NeurIPS 2017
  3. Veličković, "GAT", ICLR 2018
  4. Satorras, "EGNN", ICML 2021
  5. Jumper, "AlphaFold 2", Nature 2021
  6. Abramson, "AlphaFold 3", Nature 2024
  7. Batatia, "MACE", ICLR 2023

16.7 机器人 / 决策

  1. Mnih, "DQN", Nature 2015
  2. Silver, "AlphaGo Zero", Nature 2017
  3. Schulman, "PPO", 2017
  4. Brohan, "RT-2", 2023
  5. Black, "π0", 2024

16.8 应用

  1. Jumper, "AlphaFold 2", Nature 2021
  2. Abramson, "AlphaFold 3", Nature 2024
  3. Romera-Paredes, "FunSearch", Nature 2023
  4. Nori, "Medprompt", 2024

第 17 章 · 一句话总结

20 章 = 1 套 (数学 + 算法 + 模型 + 系统 + 应用 + 前沿) 的 AI 全栈地图。 一气贯通: 数学 (Ch01-05) → ML (Ch06) → 深度学习 (Ch07-08) → 多模态 (Ch09-10) → 行动 (Ch11) → 专题 (Ch12) → 系统 (Ch13-16) → 工程 (Ch17-18) → 应用 (Ch19) → 前沿 (Ch20)。

任何独立的章节都能独立读, 但章节之间的桥才是"全栈"二字的精华。


附录 · 教辅使用建议

A.1 学生角度

  • 预读: 通读"全局概览" + "整本书脉络地图"
  • 精读: 每章按 7 类材料 (信息图 → 大纲 → 思维导图 → 闪卡 → 阶段测试 → 讲解稿)
  • 速查: 跨章节使用时, 看"跨章节索引" (第 11 章)
  • 前沿: 5 份前沿专题 (Ch07/08/09/12/17 §06 + Ch17 §02)

B.2 讲师角度

  • 教学前先看"全文脉络地图"
  • 每章开场用"信息图"建立 landscape
  • 主线用"讲解稿"串讲
  • 自测用"阶段测试题"
  • 前沿讲用"前沿专题"

C.3 研究员角度

  • 关注"5 大主题地图" (注意力 / 预训练 / RL / 生成 / Agent)
  • 关键论文 50+ 在第 16 章
  • 跨章节复用代码在 11.3
  • 跨章节数据集在 11.4

版本: v1.0 (2026-07-30) 维护: 与 P1-P6 修复同步 协同: 与 全局概览.md 互补 (概览 = 章节明细, 脉络 = 跨章节骨架)