第17章 §04 · 边缘推理 · 讲解稿¶
承接: Ch17 §03 服务 → §04 边缘 篇幅: ~4000 字
一 · 一句话总览¶
边缘推理 = 在手机/IoT/汽车上跑 LLM。M5 60 TOPS + 256-bit UMA + 模型压缩 (1.58-bit / 4-bit), 让 7B 模型实时跑在手机, 离线 + 隐私 是云端不可替代的优势。
二 · 边缘 vs 云端¶
2.1 对比¶
| 维度 | 边缘 | 云端 |
|---|---|---|
| 延迟 | < 100 ms (本地) | 100-1000 ms (网络) |
| 隐私 | ✅ 数据不出设备 | ❌ 上传到云 |
| 成本 | 一次性 | 持续 |
| 规模 | 单设备 | 集群 |
| 模型大小 | < 10B | 任意 |
| 耗电 | 受限 | 不限 |
2.2 边缘 AI 场景¶
- 手机: 离线助手 / 实时翻译 / 拍照增强
- 汽车: 自动驾驶 (Tesla / 小鹏)
- IoT: 智能音箱 / 摄像头
- AR/VR: 头显
- 机器人: 决策
三 · 端侧 NPU¶
3.1 Apple Neural Engine¶
M5 (2026): - 60 TOPS INT8 - 256-bit 内存带宽 - 25W 功耗
生态: Core ML 自动编译到 ANE - Llama 3.2 1B/3B 全 INT4 实时 - Stable Diffusion 实时生成
3.2 高通 Hexagon NPU¶
Snapdragon 8 Gen 3: - 45 TOPS - 移动 SoC 集成 - 支持 INT4/INT8/FP16
3.3 联发科 APU¶
天玑 9300: - 20 TOPS - 中端移动
3.4 Google Tensor¶
Tensor G4: - TPU 边缘版 - Pixel 专属 - Gemini Nano (1.8B / 3.25B) 实时
四 · 边缘 LLM 框架¶
4.1 llama.cpp¶
核心: C++ 跨平台 CPU/GPU 推理 - GGUF: 模型格式 - 量化: Q4_0 / Q4_K_M / Q8_0 - 跨平台: Mac / Win / Linux / iOS / Android
4.2 MLC-LLM¶
核心: 编译 LLM 到移动端 native - WebLLM: 浏览器跑 LLM - iOS / Android SDK
4.3 MediaPipe (Google)¶
- LLM Inference API: Android / iOS
- Gemma 2B: 端侧 SOTA
- 音频 / 图像: 多模态
4.4 Core ML (Apple)¶
import coremltools as ct
import torch
# PyTorch → Core ML
traced = torch.jit.trace(model, example_inputs)
coreml_model = ct.convert(
traced,
inputs=[ct.TensorType(name="input", shape=(1, 1024))],
compute_units=ct.ComputeUnit.ALL, # CPU + GPU + ANE
)
coreml_model.save("model.mlpackage")
五 · 模型压缩¶
5.1 量化 (Quantization)¶
| 精度 | 内存 (7B) | 质量损失 |
|---|---|---|
| FP16 | 14 GB | 0% |
| INT8 | 7 GB | < 1% |
| INT4 | 3.5 GB | 2-3% |
| INT2 | 1.75 GB | 5-10% |
| 1.58-bit | 1.4 GB | 3-5% |
5.2 BitNet (1.58-bit)¶
Microsoft 2024: - 三值 {-1, 0, +1} - 内存 21× 减少 - 训练需要专用方法
5.3 蒸馏 (Distillation)¶
- DeepSeek-R1-Distill: R1 推理能力蒸馏到 1.5B-70B
- Phi-3 Mini: 3.8B 跑赢 7B
- Gemma 2 2B: 接近 7B 性能
5.4 剪枝 (Pruning)¶
- 结构化: 砍头 (GQA) / 砍层
- 非结构化: SparseGPT (50% 稀疏, 性能不减)
六 · 端侧典型应用¶
6.1 iOS 18 Apple Intelligence¶
- 3B 模型本地
- Private Cloud Compute (云端更大模型, 加密)
- 邮件回复 / 图像生成 / Siri 升级
6.2 Android AICore¶
- Gemini Nano 1.8B / 3.25B
- Pixel 8 Pro 实时
- 文本摘要 / 智能回复
6.3 Tesla FSD¶
- 自研 NPU (HW4 144 TOPS)
- 端侧多模型 (BEV / Occupancy / Planner)
6.4 高通 AI Hub¶
- 100+ 预优化模型
- 跨设备部署
七 · 挑战与未来¶
7.1 核心挑战¶
- 电池: 推理耗电
- 散热: 手机过热
- 模型大小: 内存限制
- 冷启动: 加载慢
7.2 未来 3 年¶
- 量化: 4-bit → 2-bit → 1.58-bit 普及
- NPU: 100-500 TOPS (2027)
- 架构: SSM / Hybrid (Mamba-2 在端侧 SOTA)
- 操作系统: Android / iOS 原生 LLM API
八 · 一句话总结¶
边缘 LLM = 本地化 + 隐私 + 低延迟。M5 60 TOPS + 1.58-bit 模型 + Core ML/llama.cpp/MLC-LLM 让 7B 模型跑在手机成为现实。未来 3 年 100% 旗舰手机本地跑 LLM。