讲解稿 · 第 11 章 第 04 节 · 自动驾驶¶
口播时长：约 18 分钟｜建议语速：中速｜字数：约 4200 字
承 Ch11 §03 VLA 模型 → Ch11 §04 自动驾驶 → Ch11 §05 太空与极端机器人
导语（约 80 秒）¶
讲自主系统最热门的应用——自动驾驶 (Self-Driving)。
2024 年的统计数据：Waymo 在美国每周跑 50,000 次付费乘车,累计 7000 万+英里真实里程;Tesla FSD v12 在 200 万+车主处激活,数据循环是自动驾驶最大资产;小马 / 元戎启行 / 百度 Apollo 在中国 30+ 城市做 Robotaxi 试点。
但自动驾驶不是一个简单问题——它是感知、预测、规划、控制、安全、法规的综合。这一节讲 5 件事: ① 自动驾驶分级 (L1-L5); ② 模块化 vs 端到端的两条路线; ③ 核心模块:BEV 占据 + Diffusion 规划; ④ 仿真与安全; ⑤ Waymo vs Tesla 的工程哲学对比。
一 · 自动驾驶分级（约 3 分钟）¶
1.1 SAE J3016 等级¶
| 等级 | 名称 | 责任 | 例子 |
|---|---|---|---|
| L0 | 无自动化 | 人类全责 | 普通车 |
| L1 | 单一辅助 | 人类 + 系统 | ACC 巡航 |
| L2 | 组合辅助 | 人类监督 | Tesla AP, NOA |
| L3 | 条件自动驾驶 | 系统自负责,人类备用 | Audi A8 (交通堵塞 pilot) |
| L4 | 限定 ODD 自动化 | 系统全责 (限场景) | Waymo, Cruise, 小马 |
| L5 | 全场景自动化 | 系统全责 | 尚不存在 |
1.2 L4 的关键约束¶
ODD (Operational Design Domain) = 限定运行场景。 - 地理围栏 (Waymo: 凤凰城 + 旧金山) - 天气 (Waymo: 雨雪暂停) - 时间 (Waymo: 仅白天) - 速度 (Waymo: 最高 80 km/h)
任何超出 ODD 的情形,系统必须安全停车 + 解除自动驾驶。
1.3 当前商业化状况¶
- L2: Tesla AP, BYD 高阶领航, NOA
- L3: 奥迪 A8 (Deutsche Bank), 奔驰 Drive Pilot (内华达 + 加州)
- L4 Robotaxi: Waymo (US), Cruise (US, 暂停), Pony.ai (中国), Apollo (中国), 元戎启行
- L5: 尚无
二 · 模块化 vs 端到端（约 5 分钟）¶
2.1 模块化 (Waymo Classic, Apollo)¶
架构: 检测 → 跟踪 → 预测 → 规划 → 控制
每个模块独立训练 + 独立评估: - 感知: CenterPoint, 3D 框输出 - 预测: HiVT, VectorNet 输出 3s 轨迹 - 规划: EM Planner, OpenSpace 成本函数 - 控制: PID/MPC
优势: - 可解释: 每模块独立 inspect - 调试容易: 哪里错找哪里 - 安全认证: 白盒模型可审查
劣势: - 信息损失: 模块间信息传递 (前模块只用 box, 不用相机的全部像素) - 误差累积: 多个模块的小误差累积成大问题 - 上限: 模块架构硬性限制联合优化潜力
2.2 端到端 (Tesla FSD v12, Waymo 6.0, Wayve)¶
架构: 一根 end-to-end 神经网络 - 输入: 多相机 + LiDAR + 地图 - 输出: 行驶轨迹 + 控制 - 训练: 海量真实驾驶数据 + 仿真
优势: - 联合优化: 不损失信息 - 性能上限: 高于模块化 - 数据驱动: 扩展性强(数据越多越好)
劣势: - 黑盒: 难 debug (Critical 角落案例难归因) - 数据需求: 海量(数十亿英里) - 安全认证: 监管仍要求可解释性
2.3 工程权衡¶
模块化 (Waymo): - 8 年专攻 SAE L4, 累计测试 7000 万英里 - 凤凰城 / 旧金山商业化运营 4 年 - 当前重点: 端到端 + 安全审计报告
端到端 (Tesla): - 10 亿+ 英里用户数据 - FSD v12 2024-Q4 推送,持续迭代 - 当前重点: safety monitor 与冗余
混合 (Wayve, Apollo): - VLM + RL 端模块 - 可解释 + 高性能 - 学术界主流路线
2.4 端到端的安全性如何保¶
Tesla 实践: - safety monitor 独立于主网络,关注异常 - 保留部分规则代码 (AEB, ELK) - Tesla Vision + 雷达冗余
Waymo 实践: - Safety Case 报告(2024 年公布 150+ 页) - 仿真覆盖 corner case - 政府 + 第三方审计
学术派 (DriveVLM): - VLM 输出自然语言 reasoning - safety filter 在 VLM 之后 - 可解释 + 可审计
三 · BEV 占据 + Diffusion 规划（约 5 分钟）¶
3.1 BEV 占据网络细节¶
(§01 已讲 BEV 基本概念,这里聚焦自动驾驶具体实现)
Tesla FSD v12 BEV 占据: - 输入: 8 帧 6 路相机 (过去 2 秒) - 输出: 128m × 128m BEV 网格 + 32 高度层 - 训练: 4D 时空 transformer
Tesla 占据优势: - 任意物体类型 (含长尾) - 时序一致 - 4D 推断 (3D + 时间)
3.2 Diffusion Planning¶
新趋势 (2024-): 用 Diffusion 模型直接生成轨迹。
代表: - DiffusionDrive (Wayve 2024): 轨迹扩散 + 端到端 - NEAT (NVIDIA): 神经 BEV + 强化学习轨迹 - DriveVLM-Dual: VLM 输出意图 + RL 端模块
优点: - 多模态轨迹分布 (车辆可能左/右转, 不要均值) - 不确定性量化
公式: $\(\tau^k = \sqrt{\bar\alpha_k} \tau^0 + \sqrt{1-\bar\alpha_k} \epsilon\)$ $\(\hat\epsilon = \epsilon_\theta(s_t, m_t, \tau^k, k)\)$
训练 L_simple,推理 16 步去噪生成轨迹。
3.3 车端推理¶
硬件: - Tesla HW4 (自研, 144 TOPS) - Waymo 第五代 (TPU v4) - 高通 Snapdragon Ride (中端方案) - 英伟达 Orin (主力) - 地平线 / 黑芝麻 (国产)
模型大小: - BEV 占据: 50-200M 参数 - 规划器: 100-500M 参数 - 总计: 0.3-1.0B 参数 (车端)
实时性: - 60-100 ms / 帧 - 工业标准 100 ms
四 · 仿真与安全（约 3 分钟）¶
4.1 仿真器¶
CARLA: - 开源城市驾驶模拟 - 50+ 场景 - 多相机 + LiDAR 模拟 - 学界最常用
Waymax: - Waymo 开源 - 大规模真实数据 replay
NeuRAD: - 神经渲染自动驾驶仿真 - 用 NeRF / 3DGS 重建真实场景 - 高保真渲染
Tesla 仿真: - 自研 Dojo 超算 - 100 亿+ 仿真里程 - 视觉重建真实 + 神经网络合成 corner case
4.2 仿真到真实 (Sim2Real)¶
挑战: 仿真器的物理引擎不够真实: - 接触动力学 (轮胎摩擦) - 雨雪天气 - 罕见物 (遗落物、动物)
解决方案: - Domain Randomization: 物理参数随机 - Real-to-Sim-to-Real: 用真实数据校准仿真 - Adversarial 仿真: 主动生成困难场景
4.3 安全 (Safety) 三大支柱¶
- 冗余: 多传感器 + 多算法
- 审计: Safety Case + Failure Mode Analysis
- 法规: SAE J3016 + 政府监管 (NHTSA, EU)
4.4 法规现状¶
- 美国: SAE J3016 + NHTSA (国家公路交通安全管理局)
- 欧盟: UNECE R157 + Type Approval
- 中国: GB/T 40429-2021 自动驾驶分级 + 地方试点
五 · 公司路线对比（约 2 分钟）¶
| 公司 | 国家 | 路线 | 状态 |
|---|---|---|---|
| Waymo | 🇺🇸 | 模块化 (现转端到端 v6) | 凤凰城/旧金山商用 |
| Tesla | 🇺🇸 | 端到端 FSD v12 | 全美 200+ 万车主 |
| Cruise | 🇺🇸 | 模块化 | 暂停运营 |
| Pony.ai | 🇨🇳 | 模块化 L4 | 广州/北京试点 |
| Apollo | 🇨🇳 | 模块化 (现含端到端) | 北京/广州/重庆 |
| Wayve | 🇬🇧 | 端到端 VLM | 2024 商业化试验 |
| Aurora | 🇺🇸 | 模块化 | 卡车赛道 |
跨章衔接（约 60 秒）¶
自动驾驶虽然集中在 §04, 但它在 §05 太空机器人的下一节会看到它们共享的同一套技术栈：感知 + 决策 + 执行闭环。火星 Ingenuity 是"在严酷条件下的自动驾驶",NASA Perseverance 是"在严酷条件下的 VLA"。
自动驾驶的终极目标是L4-L5 无监督——而实现它需要模型处理长尾、有 safety monitor 兜底、sim2real gap 收敛。这些挑战同样适用于太空机器人,所以很多自动驾驶技术直接迁移到火星。
六 · 重点回顾¶
自动驾驶 = 移动机器人应用 = 端到端 AI 大模型 + 车端实时 + 海量数据循环 = 2024 年最活跃的 AI 工程领域。接下来 §05 太空机器人 把这些搬到极端环境。