Ch17 AI 推理 · 闪卡 (Anki 导出)¶

60 张卡,涵盖 5 节核心。Anki Deck: Ch17 AI 推理

Section A: 量化¶

Card 1¶

Front: PTQ vs QAT? Back: PTQ = 训练后量化, 简单; QAT = 训练中量化, 精度高。

Card 2¶

Front: INT8 内存节省? Back: 2× vs FP16。

Card 3¶

Front: INT4 内存节省? Back: 4× vs FP16。

Card 4¶

Front: GPTQ 来源? Back: Frantar et al., "GPTQ: Accurate Post-Training Quantization", ICLR 2023。

Card 5¶

Front: AWQ 核心思想? Back: Activation-aware, 保护显著权重 (1% top)。

Card 6¶

Front: SmoothQuant 原理? Back: 数学等价变换, 把 activation outlier 移到 weight。

Card 7¶

Front: bitsandbytes? Back: NF4 / INT8 量化库, 简单, 几行代码可用。

Section B: 高效架构¶

Card 8¶

Front: KV cache 大小公式? Back: \(S_{\text{KV}} = 2 \cdot L \cdot d_{\text{model}} \cdot N_{\text{tokens}} \times 2 \text{ bytes (FP16)}\)。K 和 V 各一份。Llama 70B + 128K tokens ≈ 50 GB。

Card 9¶

Front: Flash Attention 优化点? Back: 分块 attention, 不存中间结果。

Card 10¶

Front: PagedAttention 来源? Back: vLLM, SOSP 2023, 类似 OS 虚拟内存。

Card 11¶

Front: GQA 来源? Back: Ainslie et al., "GQA: Training Generalized Multi-Query Transformer", 2023。

Card 12¶

Front: MQA 与 GQA 区别? Back: MQA 全部 KV 共享 1 个; GQA 分组共享 (e.g., 8 KV head)。

Card 13¶

Front: 长上下文技术? Back: RoPE 扩展 (位置编码), ALiBi, YaRN。

Card 14¶

Front: KV cache 压缩? Back: 量化 INT8/INT4, 滑动窗口, 稀疏。

Section C: 推理服务¶

Card 15¶

Front: vLLM 核心创新? Back: PagedAttention + Continuous batching。

Card 16¶

Front: Continuous batching 提升? Back: 吞吐 +24× vs naive (vLLM 论文)。

Card 17¶

Front: Speculative decoding 原理? Back: 小模型猜 N token, 大模型验证, 通过则采纳。

Card 18¶

Front: TGI 是什么? Back: Text Generation Inference, HuggingFace 出品, Rust。

Card 19¶

Front: TensorRT-LLM 优势? Back: NVIDIA 极致性能, 编译优化。

Card 20¶

Front: SGLang 创新? Back: RadixAttention, 提示词缓存复用。

Card 21¶

Front: Prompt cache 用途? Back: 重复 prompt 复用 KV, 节省计算。

Section D: 边缘推理¶

Card 22¶

Front: Llama.cpp 用途? Back: CPU/边缘 LLM 推理, 量化 + SIMD。

Card 23¶

Front: 边缘 LLM 限制? Back: 内存 (8 GB), 功耗 (10W), 散热。

Card 24¶

Front: ONNX Runtime? Back: 跨平台推理引擎, ONNX 格式。

Card 25¶

Front: CoreML? Back: Apple 设备 ML 推理 (iOS / macOS)。

Card 26¶

Front: MNN 是什么? Back: 阿里开源移动推理框架。

Card 27¶

Front: 边缘 + 云端协同? Back: 简单本地, 复杂上云。

Section E: 大规模部署¶

Card 28¶

Front: HPA 含义? Back: Horizontal Pod Autoscaler, K8s 自动扩缩。

Card 29¶

Front: 推理 SLO 指标? Back: TTFT (Time To First Token), TPOT (Time Per Output Token)。

Card 30¶

Front: 推理监控指标? Back: QPS, p50/p95/p99 latency, GPU util, KV cache usage。

Card 31¶

Front: 金丝雀发布? Back: 5% → 50% → 100% 流量切。

Card 32¶

Front: 模型路由? Back: 根据 query 难度路由到不同大小模型。

Section F: 跨章¶

Card 33¶

Front: Ch07 §04 与 Ch17 §02? Back: Transformer 基础架构 → 高效变体 (Flash/GQA)。

Card 34¶

Front: Ch16 §04 与 Ch17 §03? Back: CUDA / Triton 优化算子, vLLM 加速推理。

Card 35¶

Front: Ch15 §05 与 Ch17 §05? Back: K8s 部署 LLM 服务。

Card 36¶

Front: Ch13 §04 与 Ch17 §01? Back: 量化减少 GPU 内存压力。

Card 37¶

Front: Ch05 概率与 Ch17 §01? Back: 量化误差分析, 精度损失分布。

Section G: 现实应用¶

Card 38¶

Front: GPT-4 推理优化? Back: 多模型 (8B / 70B / 400B) 路由 + 量化 + batching。

Card 39¶

Front: Claude 推理? Back: Anthropic 自研, 长上下文 (200K)。

Card 40¶

Front: Llama 3 8B 边缘? Back: 量化 INT4 + Llama.cpp + Snapdragon 8 Gen 3, ~10 tok/s。

Card 41¶

Front: Mistral 7B 推理? Back: GQA, 单 A100 可跑 ~50 tok/s。

Section H: 工程¶

Card 42¶

Front: vLLM 启动命令? Back: python -m vllm.entrypoints.openai.api_server --model <model>。

Card 43¶

Front: 量化工具选择? Back: 实验 → bitsandbytes; 生产 → GPTQ / AWQ; 边缘 → llama.cpp。

Card 44¶

Front: Llama.cpp 量化命令? Back: ./llama-quantize model.gguf model-q4.gguf Q4_K_M。

Card 45¶

Front: 推理 benchmark? Back: vLLM bench, throughput + latency 表格。

Section I: 错误避免¶

Card 46¶

Front: 量化精度损失? Back: 必评估, INT4 可能 1-5%。

Card 47¶

Front: KV cache OOM? Back: 长上下文是主因, 用 PagedAttention 或 GQA。

Card 48¶

Front: vLLM 与 TGI 选哪个? Back: vLLM 高吞吐 / TGI 集成好。

Card 49¶

Front: Speculative 不 work? Back: draft 模型太弱或 token 接受率低。

Card 50¶

Front: 边缘模型太大? Back: 量化 (INT4), 蒸馏 (Llama 3.2 1B / 3B), 剪枝。

Section J: 历史¶

Card 51¶

Front: GPTQ 起源? Back: ICLR 2023, Frantar et al.

Card 52¶

Front: AWQ 起源? Back: Lin et al., MLSys 2024。

Card 53¶

Front: Flash Attention 起源? Back: Tri Dao, 2022, NeurIPS 2022 Best Paper。

Card 54¶

Front: vLLM 起源? Back: UC Berkeley, SOSP 2023。

Card 55¶

Front: GQA 起源? Back: Google, 2023。

Card 56¶

Front: Llama.cpp 起源? Back: Georgi Gerganov, 2023。

Card 57¶

Front: Speculative decoding 起源? Back: Leviathan et al., NeurIPS 2023。

Card 58¶

Front: SGLang 起源? Back: UC Berkeley, 2024。

Card 59¶

Front: Medusa 起源? Back: Cai et al., 2024, 多 head 预测。

Card 60¶

Front: 一句话总结 Ch17。 Back: AI 推理 = 模型生产部署。覆盖 §01 量化 + §02 高效架构 (Flash/GQA/Paged) + §03 推理服务 (vLLM/TGI/batching) + §04 边缘 (Llama.cpp) + §05 大规模部署 (K8s)。是 AI 工程师的"推理优化"课。