Ch17 AI 推理 · 思维导图 (Mermaid)¶

一 · 章节主入口¶

🌳 Ch17 章 知识图谱
├─ §01 量化
│  └─ INT8
│  └─ INT4
│  └─ GPTQ/AWQ
├─ §02 高效架构
│  └─ Flash Attn
│  └─ GQA
│  └─ PagedAttn
├─ §03 推理服务
│  └─ vLLM
│  └─ TGI
│  └─ batching
├─ §04 边缘推理
│  └─ Llama.cpp
│  └─ ONNX
├─ §05 大规模部署
│  └─ K8s
│  └─ autoscaling

二 · 推理优化三方向¶

graph LR
    A[模型] --> B[量化]
    A --> C[架构优化]
    A --> D[调度]
    B --> E[更少内存]
    C --> F[更少 FLOPs]
    D --> G[更高吞吐]

三 · §01 量化子图¶

🌳 Ch17 章 知识图谱
├─ 类型
│  └─ PTQ
│  └─ QAT
├─ 粒度
│  └─ per-tensor
│  └─ per-channel
│  └─ per-group
├─ 比特
│  └─ INT8
│  └─ INT4
│  └─ FP8
├─ 工具
│  └─ GPTQ
│  └─ AWQ
│  └─ SmoothQuant
│  └─ bitsandbytes

四 · §02 高效架构子图¶

🌳 Ch17 章 知识图谱
├─ Attention
│  └─ Flash
│  └─ Paged
│  └─ Sliding Window
├─ KV
│  └─ MQA
│  └─ GQA
│  └─ 量化
├─ 长上下文
│  └─ RoPE
│  └─ ALiBi
│  └─ YaRN
├─ 架构
│  └─ SSM
│  └─ MoE
│  └─ Mamba

五 · §03 推理服务子图¶

🌳 Ch17 章 知识图谱
├─ 引擎
│  └─ vLLM
│  └─ TGI
│  └─ TensorRT-LLM
│  └─ SGLang
├─ 调度
│  └─ Continuous batching
│  └─ Speculative
│  └─ Chunked prefill
├─ API
│  └─ OpenAI 兼容
│  └─ FastAPI
├─ 缓存
│  └─ Prompt cache
│  └─ RadixAttention

六 · §04 边缘推理子图¶

🌳 Ch17 章 知识图谱
├─ 框架
│  └─ Llama.cpp
│  └─ ONNX Runtime
│  └─ CoreML
│  └─ MNN
├─ 硬件
│  └─ 手机
│  └─ Jetson
│  └─ Raspberry Pi
├─ 优化
│  └─ 量化
│  └─ 蒸馏
│  └─ 算子融合

七 · §05 大规模部署子图¶

🌳 Ch17 章 知识图谱
├─ 编排
│  └─ K8s
│  └─ Argo
├─ 扩缩
│  └─ HPA
│  └─ KEDA
├─ 监控
│  └─ Prometheus
│  └─ Grafana
├─ 发布
│  └─ 蓝绿
│  └─ 金丝雀

八 · 跨章桥接¶

graph TB
    C07[Ch07 Transformer] --> T1
    C13[Ch13 OS] --> T2
    C15[Ch15 DevOps] --> T3
    C16[Ch16 CUDA] --> T4

    T1[Ch17 §02 高效架构] --> FUSE{AI 推理}
    T2[Ch17 §03 调度] --> FUSE
    T3[Ch17 §05 部署] --> FUSE
    T4[Ch17 §03 vLLM] --> FUSE

    FUSE --> APP[GPT/Claude API / LLM 服务]

九 · 演进时间线¶

timeline
    2017 : Transformer
    2018 : BERT 量化
    2020 : GPT-3 推理
    2022 : Flash Attention 1
    2023 : Flash Attention 2, PagedAttention
    2023 : vLLM 开源
    2024 : Flash Attention 3
    2024 : Llama 3, GQA
    2024 : Speculative decoding
    2025 : 边缘 LLM 普及

十 · 推理优化决策树¶

graph TD
    START([部署?]) --> Q1{显存?}
    Q1 -->|不足| Q2{精度?}
    Q2 -->|可损| INT4[INT4 量化]
    Q2 -->|不可损| INT8[INT8 + QAT]
    Q1 -->|足够| FULL[FP16 推理]

    FULL --> Q3{并发?}
    Q3 -->|高| VLLM[vLLM PagedAttn]
    Q3 -->|中| TGI[TGI]
    Q3 -->|低| NAIVE[普通 PyTorch]

    VLLM --> Q4{长上下文?}
    Q4 -->|>32K| FLASH[Flash Attn]
    Q4 -->|<32K| STD[标准]

    INT4 --> EDGE[Llama.cpp 边缘]

十一 · 推理服务对比¶

引擎	吞吐	易用	部署
vLLM	极高	高	K8s / Docker
TGI	高	高	HF Spaces
TensorRT-LLM	极高	低	NVIDIA
SGLang	高	中	自托管
Llama.cpp	中	极高	边缘

十二 · 量化精度 vs 速度¶

精度	内存	速度	精度损失
FP16	1×	1×	0
BF16	1×	1×	0
INT8	0.5×	1.5×	<1%
INT4	0.25×	2×	1-3%
INT2	0.125×	3×	5-10%

这张导图覆盖 Ch17 全章。建议: 先背章节主入口 → 按节背子图 → 演进时间线 → 推理决策树。