讲解稿 · 第 11 章 第 03 节 · VLA 模型 (Vision-Language-Action)¶
口播时长：约 17 分钟｜建议语速：中速｜字数：约 4100 字
承 Ch11 §02 机器人学习 → Ch11 §03 VLA 模型 → Ch11 §04 自动驾驶
导语（约 80 秒）¶
讲 2024 年最热的机器人研究方向——VLA (Vision-Language-Action) 模型。
你要机器人"把蓝色杯子放到桌上",传统做法: 1. 标定相机位姿 2. 检测杯子位置 3. 训练策略网络 4. 部署到 ROS
每换一个杯子、换一张桌子要重新训练。VLA 改变了一切。2023 年 Google 的 RT-2 把"动作"也变成了 token, 在 5.5B 参数的视觉-语言模型里跟"语言 token"共用词典。给一张图 + 一句指令, 输出 7 维动作 token。
2024 年 10 月, Physical Intelligence 发布了 π0 (3B 参数), 在 22 种机器人上验证通用性。Microsoft/SF 推出 OpenVLA (7B 开源) 把 VLA 推到大众可访问。Tesla Optimus、Figure 02 等人形机器人公司纷纷基于 VLA 路线开发。这一节讲 4 件事: ① VLA 的核心思想; ② 架构详解; ③ 训练与数据; ④ 评测与挑战。
一 · VLA 的核心思想（约 4 分钟）¶
1.1 为什么需要 VLA¶
传统机器人学习的局限: - 任务专用: 一个模型只会 1 个任务(抓杯子) - 数据稀缺: 机器人轨迹贵,难积累"互联网规模"数据 - 指令理解弱: 改一句指令,模型不一定能泛化
VLA 的解决: 大模型 (LLM) + 视觉 + 动作,一次训练,通用任务。 - LLM 通用化: 互联网规模文本 + 代码训练 - 视觉: 看图说文能力 - 动作 token: 把机器人动作当作"词"
1.2 关键洞察：动作是"另一个语言"¶
RT-2 的核心贡献: 把 7 维连续动作 \((x, y, z, roll, pitch, yaw, gripper)\) 离散化到 256 bins, 每个 bin 对应一个 token (类似 BPE 词表)。再加入语言词典中。
结果: 训练数据中既有"图像 → 英文词",也有"图像 → 动作 token"。模型学到通用映射,泛化能力爆表。
实测: RT-2 在见过 200 类物体的数据集训练后,能 zero-shot 推 ~1000 类未见过物体 (因为 LLM 中见过这些词)。
1.3 VLA 的本质¶
VLA = \(\pi(a | o, l)\), 其中 \(o\) = 视觉, \(l\) = 语言, \(a\) = 动作。
可看做"机器人 GPT"——看到视觉,理解语言指令,直接输出动作 token。
二 · VLA 三种代表架构（约 5 分钟）¶
2.1 RT-2 (Google DeepMind, 2023)¶
架构: - 视觉编码器: PaLI-X (3B 参数, 22B 视觉-语言) - LLM: PaLM-E - 输出: \(\text{Tokenizer}(a) \in \{0,...,255\}^7\) 离散化到 \(256^7\) token 空间 - 训练: \(\mathcal{L}_{CE} = -\log p(a | o, l;\theta)\)
亮点: - 视觉-语言-动作共享 Transformer backbone - 直接 fine-tune on robot data - 通用化能力强: zero-shot 也能做"香蕉和柠檬"
不足: - 55B 参数,部署贵 - 训练数据 1M 轨迹, 4 个机器人平台
2.2 π0 (Physical Intelligence, 2024-10)¶
架构: - 视觉: SigLIP (400M) + DINO v2 组合 - LLM: Gemma 2B - 动作: 流匹配(Flow Matching)+扩散混合 - 总参: 3B
亮点: - 流匹配 (Flow Matching) 输出动作: 比离散 token 化更精细 - 训练数据 Open X-Embodiment 22 个机器人, 通杀 - 微调训练: 35 小时 → 涵盖多任务 - 工业级可靠性: 工厂流水线一天执行率 > 95%
2.3 OpenVLA (开源, 2024)¶
架构: - 视觉: SigLIP (大) - LLM: Llama 2 7B (开源) - Action token: 256-bin 离散化 (类似 RT-2) - 总参: 7B
亮点: - 全开源 (HF / GitHub) - 7B 参数通用化能力与 RT-2 55B 持平 - 工业部署成本低 (单 A100/H100 即可推理) - 微调即可迁移到新机器人
2.4 三种架构对比¶
| 维度 | RT-2 | π0 | OpenVLA |
|---|---|---|---|
| 视觉 | PaLI-X 22B | SigLIP + DINO | SigLIP |
| LLM | PaLM-E | Gemma 2B | Llama 2 7B |
| 动作 | 256-bin token | 流匹配 + Diffusion | 256-bin token |
| 参数量 | 55B | 3B | 7B |
| 数据 | RT-1 + RT-2 | Open X-Embodiment 22 | Open X-Embodiment |
| 部署 | 难 (55B) | 中 (3B) | 易 (7B 开源) |
三 · 训练与数据（约 4 分钟）¶
3.1 训练阶段¶
预训练 (Pretrain): - 数据: 互联网图文 (LAION, COYO 等) + 机器人混合 - 任务: 图文对齐 + VLM / VLA 联合训练 - 算力: 1000 GPU * 数天
监督微调 (SFT): - 数据: 机器人轨迹 (state, action, task description) - 任务: 模仿专家策略 - LoRA 或 full fine-tune
RL 精调 (可选): - 数据: 仿真交互 - 任务: 用 RL 提升 SFT 模型 - 关键算法: SAC-fine-tune, PPO-fine-tune
3.2 数据集¶
Open X-Embodiment (2023): - 22 个机器人平台 (Franka, UR5, Sawyer, Aloha 等) - > 1M 轨迹 (10亿+ step) - 任务: Pick/Place/Push/Wipe 等基础操作
BridgeData V2: - 5 类厨房任务 - 60k 轨迹 (5 万+ step)
RT-1 / RT-2 数据: - Google 内部 (13 万 trajectory)
3.3 sim-to-real gap 处理¶
- 数据增广: 图像随机裁剪/调色/加噪
- 物理随机化: 仿真物理参数在 train 中波动
- 多机器人数据混合: π0 跨 8 个平台训
- CoT 推理 (RT-2): 在动作前生成 plan token
3.4 训练细节¶
Pi0 关键技巧: - 流匹配 + 扩散混合: 动作可用 flow matching (L2 loss) 或 diffusion;Pi0 用 flow matching 收敛更快 - 50 step 推理: 比 100 step diffusion 快 - 冻结编码器: 视觉编码器不动,只微调 LLM + action head
OpenVLA: - 单 GPU 训练友好 - 8x A100, 14 天训 7B 模型
四 · 评测与挑战（约 3 分钟）¶
4.1 评测基准¶
ManiSkill2: - 仿真基准 - 20+ 任务 (Pick, Place, Stack, Push) - 评测: Success Rate
RLBench: - 100 任务, 桌面级 - 同上指标
Bridge: - 真实厨房 - 1-shot / few-shot learning
4.2 Pi0 SOTA 数字¶
- 在 22 个机器人 zero-shot 评估, 22/22 任务能完成, 5/7 zero-shot 出新物体
- 工厂流水线 1 天成功率 95%
- 与 RT-2 比, 任务成功率 +25% 平均
4.3 主要挑战¶
- 数据稀缺: 单家公司的轨迹数据量(1M 量级) 远小于互联网文本
- 异构机器人: 不同形态(双臂 / 四足 / 人形)的动作空间不同
- 指令遵循: 用户口语指令("轻一点放") 难精确量化
- 失败恢复: 模型失败时怎么尝试 (
recovery behaviors) - 安全: 与人类协作的物理安全约束
4.4 安全 (Safety)¶
三类风险: 1. 物理: 撞人、跌落、夹手 2. 语义: 错误理解指令造成危险动作 ("把水泼客人") 3. 对抗: 恶意指令注入
VLA safety 的标准做法: - 推理时强制安全约束 (e.g., 关节限位, 末端轨迹包围盒) - 关键操作需人类确认 - 审计日志记录所有操作
五 · VLA 通用化与未来（约 1 分钟）¶
目前: - VLA 能解决 100+ 已知任务 - 在特定机器人上接近 100% 成功率 - 通用化逐渐实现 (π0 已展示)
未来 3-5 年: - 跨形态: 1 个 VLA 控制 100 种机器人 - 长 horizon: 复杂 50 步任务 - 物理交互: 软物体 (毛巾/电线/食材) 操作 - 终身学习: 边干活边学, 不重新训练 - 人形: Tesla Optimus, Figure 02 量产
跨章衔接（约 60 秒）¶
VLA 的"通用大脑"思想,直接推动 §04 自动驾驶端到端大模型（如 Tesla FSD v12 / Waymo EMMA）。通用模型 + 海量数据 + 端到端训练 是 2024 年以来整个 AI 行业的范式。
下一节 §04 我们会看到: 自动驾驶用 VLM 类模型把感知 + 决策 + 控制全部融合到一个神经网络,抛弃模块化的累积误差,卡在"手把手写规则"的死胡同。VLA 让通用机器人从科幻走向工厂,端到端自驾让 L4-L5 从科幻走向城市。