Ch11 自主系统 · 闪卡 (Anki 导出格式)¶

100 张卡,涵盖 5 节。Anki Deck: Ch11 自主系统

Section A: 基础¶

Card 1¶

Front: 自主系统的三大组件是? Back: 感知 (Perception) + 决策 (Decision/Policy) + 执行 (Actuation)。三件套闭环,反馈路径确保持续学习。

Card 2¶

Front: SLAM 是什么的缩写? Back: Simultaneous Localization and Mapping。同时定位与建图。给定未知环境的传感器输入,同时估计机器人位姿(定位)+建立环境地图(建图)。

Card 3¶

Front: LiDAR 与 Camera 的核心差异? Back: - LiDAR: 直接测距,精度高,不依赖光照, 但点云稀疏 - Camera: 视觉丰富(颜色/纹理),但深度需推断,光照敏感 - 主流方案: 两者融合

Card 4¶

Front: PPO 训练流程? Back: on-policy 强化学习。每次收集当前策略的轨迹数据,计算 GAE 优势估计,更新策略时限制新旧策略比值(裁剪 ε=0.2),保证稳定。

Card 5¶

Front: Diffusion Policy 与传统 BC 的区别? Back: - BC: 单步确定性预测,容易均值 - Diffusion: 多步去噪,保留多模态分布 - ManiSkill2 实测 DP 比 BC 强 3-5 倍

Card 6¶

Front: VLA 模型的代表工作? Back: - RT-2 (Google, 2023): 把动作 token 与语言 token 共享输出空间 - π0 (Physical Intelligence, 2024): 3B 端到端 VLA - OpenVLA (2024): 7B 开源 VLA,基于 SigLIP+Llama

Card 7¶

Front: 自动驾驶 L4 与 L5 的区别? Back: - L4: 限定 ODD (Operational Design Domain),如地理围栏/天气 - L5: 全场景、全天候,任何环境无人 - L5 当前不存在(只有 L4 商业化)

Card 8¶

Front: VIO 是什么? Back: Visual Inertial Odometry。视觉 + IMU 融合的里程计算法。视觉提供丰富特征,IMU 提供高频运动先验(200Hz),弥补低速场景下的运动模糊。

Card 9¶

Front: BEV 表示是什么? Back: Bird's Eye View,鸟瞰视角。从多相机视角做特征提取,在地面 XY 平面统一表示。自动驾驶中常用输出是 BEV 上的 3D 物体占据/检测/分割。

Card 10¶

Front: 太空机器人的 sim-to-real gap 为什么大? Back: - 低密度空气 (火星 1/100 大气压): 螺旋桨物理不同 - 长通信延迟 (5-20 min): 无法远程实时操控 - 高辐射 / 极端温度: 电子元器件行为变化 - 重力加速度低 (火星 0.38g): 动力学不同

Section B: 公式¶

Card 11¶

Front: 默写 LiDAR 测距公式。 Back: \(d = \frac{c \cdot \Delta t}{2}\), \(c \approx 3 \times 10^8\) m/s。905 nm 激光是车规级常用波长。

Card 12¶

Front: 默写 Stereo 视差公式。 Back: \(Z = \frac{f \cdot B}{d}\), \(f\)=焦距像素, \(B\)=基线米, \(d\)=视差像素。\(d=1\) px 表示 \(Z=100\)m@ \(f\)=1000 px, \(B\)=0.1m。

Card 13¶

Front: 默写 PPO clip 目标。 Back: \(\mathcal{L}^{CLIP}(\theta) = \mathbb{E}_t[\min(\rho_t \hat A_t, \text{clip}(\rho_t, 1-\epsilon, 1+\epsilon)\hat A_t)]\); \(\rho_t = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}\); \(\epsilon=0.2\)。

Card 14¶

Front: 默写 Diffusion Policy 训练损失。 Back: \(\mathcal{L} = \mathbb{E}_{k,\tau^0,\epsilon}[\|\epsilon - \epsilon_\theta(\tau^k, s_t, k)\|^2]\)。噪声预测 MSE,与图像扩散同公式。

Card 15¶

Front: 默写 卡尔曼预测。 Back: \(\hat x_{t|t-1} = F \hat x_{t-1|t-1} + B u_t\), \(P_{t|t-1} = F P_{t-1|t-1} F^\top + Q\)。

Card 16¶

Front: 默写 卡尔曼更新。 Back: \(K_t = P_{t|t-1} H^\top (H P_{t|t-1} H^\top + R)^{-1}\), \(\hat x_{t|t} = \hat x_{t|t-1} + K_t(z_t - H \hat x_{t|t-1})\), \(P_{t|t} = (I - K_t H) P_{t|t-1}\)。

Card 17¶

Front: 默写 MPC 控制目标。 Back: \(\min_u \sum_{k=0}^{N-1} \|x_{t+k} - x^*\|^2_Q + \|u_{t+k}\|^2_R\), s.t. 动力学约束。

Card 18¶

Front: 默写 BA 后端。 Back: \(\min_{T,X} \sum_{i,j} \rho(\|u_{ij} - \pi(T_i X_j)\|^2_\Sigma)\)。Schur complement 加速。

Card 19¶

Front: 默写 GAIL 目标。 Back: \(\min_\pi \max_D \mathbb{E}_\pi[\log D(s,a)] + \mathbb{E}_{\pi_E}[\log(1-D(s,a))]\)。GAN-类比模仿学习。

Card 20¶

Front: 默写 3D Gaussian Splatting 渲染。 Back: \(C = \int T(t) \sigma c \, dt\)。把 3D Gaussian 投影到 2D 做 splatting,微分光栅化训练。

Section C: 概念辨析¶

Card 21¶

Front: 模块化 vs 端到端自动驾驶的对比? Back: | 维度 | 模块化 | 端到端 | |---|---|---| | 调试 | 易 | 难 | | 数据 | 标注小 | 海量 | | 上限 | 中 | 高 | | 可信 | 高 | 低 | | 路线 | Waymo Classic, Apollo | Tesla FSD v12, Wayve |

Card 22¶

Front: PPO vs SAC? Back: - PPO: on-policy, 简单稳定, 大模型标配 - SAC: off-policy, 最大熵, sample efficient, 连续控制首选

Card 23¶

Front: 模型预测控制在自动驾驶中的角色? Back: MPC 用动力学模型预测未来 N 步轨迹,在线求解凸优化,输出当前最优控制。Tesla 控制栈里 MPC 处理轨道跟随,IL 处理长时规划。

Card 24¶

Front: 模仿学习 vs 强化学习? Back: - IL: 模仿专家(supervised), 数据驱动 - RL: 试错学习,奖励驱动 - 实际 VLA 用 IL(便宜) + RL(微调)

Card 25¶

Front: LiDAR SLAM vs Visual SLAM? Back: - LiDAR SLAM: 精度高, 但点云稀疏处理难 - Visual SLAM: 视觉丰富, 但几何稳定性弱 - 主流: 激光 + 视觉紧耦合

Card 26¶

Front: 占据 (Occupancy) vs 检测 (Detection) 的差异? Back: - 检测: 输出边界框 + 类别 - 占据: 输出每体素的 0/1 占用 + 语义 - 占据更通用, 处理长尾物体(挖掘机、倒树等)

Card 27¶

Front: Diffusion Policy 与 BC 之外的差异? Back: BC 是单次预测, Diffusion Policy 是 sequence-to-sequence 16 步去噪。可以表达多模态行为(同样示教可能有多种完成方式)。

Card 28¶

Front: π0 与 RT-2 的核心差异? Back: - RT-2: 55B 参数, 沿用 PaLI-X 视觉, Google Research - π0: 3B 参数, SigLIP + Gemma, 工业级机器人专家训练 - π0 注重"通用机器人学习",RT-2 偏"互联网规模通用化"

Card 29¶

Front: NeRF vs 3D Gaussian 在 SLAM 中的优劣? Back: - NeRF SLAM: 视角质量高,但训练/渲染慢 - 3DGS SLAM (SplaTAM, GS-SLAM): 速度 30+ fps, 训练 1 分钟 - 主流新方法: 3DGS 路线

Card 30¶

Front: 词袋 (BoW) 在 SLAM 回环检测中的作用? Back: 把图像特征聚类成视觉词, 用词向量相似度判断"是否访问过同一地点"。计算高效, 对视点变化/光照鲁棒。ORB-SLAM 的 DBow2 库实现。

Section D: 历史里程碑¶

Card 31¶

Front: ORB-SLAM 起源? Back: 2015 年首次发表,2017 年 ORB-SLAM2 支持单目/双目/RGB-D。Mur-Artal 等。

Card 32¶

Front: PPO 起源? Back: Schulman et al., NeurIPS 2017, OpenAI。简化 TRPO 但保留一阶优化稳定性。

Card 33¶

Front: SAC 起源? Back: Haarnoja et al., ICML 2018, UC Berkeley Tuomas Haarnoja。

Card 34¶

Front: Diffusion Policy 起源? Back: Chi et al., RSS 2023, Stanford & Toyota Research Institute。

Card 35¶

Front: RT-2 起源? Back: Brohan et al., 2023, Google DeepMind。在 RT-1 数据上 fine-tune PaLI-X / PaLM-E。

Card 36¶

Front: π0 起源? Back: Physical Intelligence team, 2024-10 发表,YC 投资。CEO Lachy Glick。

Card 37¶

Front: Tesla FSD v12 时间线? Back: - 2022-AI Day: 端到端路线公布 - 2024-Q1: FSD v12 内部测试 - 2024-Q4: 美/加/欧部分推送 - 2025: 持续迭代

Card 38¶

Front: Waymo Driver 6.0 时间线? Back: - 2023-Q4: Waymo One 凤凰城/旧金山商业化 - 2024: 6.0 端到端 + EMMA 通用模型 - 2025: 多个新城市

Card 39¶

Front: Mars 2020 (Perseverance) 时间线? Back: 2020-07 发射, 2021-02 降落火星。Ingenuity 直升机 2021-04 首飞,共 72 次飞行任务, 2024-01 退役。

Card 40¶

Front: Boston Dynamics Spot 商用时间? Back: 2018 试发布, 2020 中等规模量产, 2024 工业巡检/建造等场景。

Section E: 工程实践¶

Card 41¶

Front: BEV 占据网络的工业实现? Back: - Tesla: 4D 占据 (BEV + 时间) - Waymo: WayMo v6.0 端到端 - 国产 (Apollo, Momenta): 类似方案 - 训练: 数百万标注帧

Card 42¶

Front: Diffusion Policy 训练数据需求? Back: 100-1000 条轨迹/任务, 50-100 帧/轨迹; 单 GPU 训练 12-24 小时。

Card 43¶

Front: VLA 模型需要多少数据? Back: - Open X-Embodiment: 22 个机器人, 1M+ 轨迹 - BridgeData V2: 6 万 + 轨迹, 5 个厨房任务 - 实际部署往往需要自己收集 1k+ 任务特定轨迹

Card 44¶

Front: 自动驾驶仿真器选哪个? Back: - CARLA: 开源, 城市环境, 学界最常用 - Waymax: Waymo 开源, 大规模真实数据回放 - NeuRAD: 神经渲染自动驾驶仿真 (Hugging Face 团队) - LGSVL: 另一开源方案

Card 45¶

Front: 仿真到真实 (Sim2Real) 的三大策略? Back: Domain Randomization, System Identification (校准物理参数), Adversarial Training。

Card 46¶

Front: 边缘部署 VLA 模型 50ms 推理如何做? Back: - 模型量化 (INT8/INT4): 4-8x 加速 - Token pruning: 减少 token 数 - KV cache: 长序列缓存 - Speculative decoding

Card 47¶

Front: Apollo 自动驾驶的三层架构? Back: 1. 感知层: 激光雷达/相机融合 2. 决策层: Apollo Planning + EM Planner 3. 控制层: PID + MPC

Card 48¶

Front: 端到端自驾的 safety monitor 怎么设计? Back: 与主模型并行运行,监控异常。Tesla 在端到端之外保留冗余的 safety monitor,包括车速/障碍物检测/驾驶员注意力。Waymo 同。

Card 49¶

Front: nuScenes 数据集规模? Back: 1000 场景, 40k 标注帧, 23 类, 1.4M 3D 框。Boston / Singapore 城市。

Card 50¶

Front: VLM 在 RL 中的辅助角色? Back: - Reward shaping: VLM 给状态打分 - Skill decomposition: VLM 拆解长时任务 - Sub-goal 生成: VLM 给出中间目标

Section F: 经典代码¶

Card 51¶

Front: 写一个 Python SLAM 前端 ORB 提取的伪代码。 Back:

import cv2
import numpy as np

class ORBExtractor:
    def __init__(self, n_features=1000):
        self.orb = cv2.ORB_create(nfeatures=n_features)
        self.matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)

    def detect_and_describe(self, img):
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        kp, des = self.orb.detectAndCompute(gray, None)
        return kp, des

    def match(self, des1, des2):
        matches = self.matcher.match(des1, des2)
        return sorted(matches, key=lambda m: m.distance)[:50]

Notes: SLAM 前端标准做法

Card 52¶

Front: 写一个 PPO 的简化更新公式。 Back:

import torch

def ppo_update(policy, optimizer, batch, eps=0.2):
    states, actions, old_logprobs, advantages, returns = batch
    logprobs, values = policy.evaluate(states, actions)
    ratio = (logprobs - old_logprobs).exp()
    surr1 = ratio * advantages
    surr2 = torch.clamp(ratio, 1-eps, 1+eps) * advantages
    policy_loss = -torch.min(surr1, surr2).mean()
    value_loss = (values - returns).pow(2).mean()
    loss = policy_loss + 0.5 * value_loss
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    return loss

Notes: PPO 简化版,看出 clip 思想

Card 53¶

Front: Diffusion Policy 推理循环 16 步伪代码。 Back:

import torch

@torch.no_grad()
def diffusion_policy_inference(policy, observation, num_steps=16):
    H = policy.horizon
    action_dim = policy.action_dim
    # 从噪声起步
    traj = torch.randn(1, H, action_dim, device=policy.device)
    schedule = policy.noise_schedule(num_steps)
    for k in reversed(range(num_steps)):
        eps = policy.noise_net(traj, observation, k)
        sigma, mu = schedule[k]
        traj = mu + sigma * eps  # reverse process
    return traj[0]

Notes: DP 推理核心

Section G: 跨章¶

Card 54¶

Front: 自主系统与 RL 的关系? Back: 自主系统是"应用域",RL 是"决策方法"。SLAM/控制等是几何/控制论方法,RL 是补充。VLA 端到端是 RL + IL 混合。

Card 55¶

Front: VLA 与 VLM 关系? Back: VLM 训练数据 (图文) → VLA 用同数据 + 加机器人轨迹数据。共享输出 token。

Card 56¶

Front: 自动驾驶与机器人关系? Back: 自动驾驶是特殊机器人 (固定环境, 任务窄)。技术栈共享 (SLAM/规划/控制),但场景泛化要求不同。

Card 57¶

Front: 工业机器人 vs 服务机器人? Back: - 工业: 固定位置, 重复任务 (汽车焊接臂) - 服务: 移动, 动态环境 (家用机器人/巡检) - VLA 主要面向后者

Card 58¶

Front: Ch06 RL 算法在 Ch11 的应用? Back: - PPO: 经典运动控制 (locomotion) - SAC: 复杂操作 (manipulation) - TD3: 连续控制 baseline - 离线 RL: 仿真训练 + 真机精调

Card 59¶

Front: Ch17 边缘推理在 VLA 的应用? Back: - VLA 模型量化到 1B, INT8 推理 - Jetson Orin / 高通 Snapdragon Edge 部署 - 推理 < 50 ms 的硬实时要求

Card 60¶

Front: Ch14 图网络在 VLA 的应用? Back: - 物体关系建模 (Spatial Reasoning) - 物体间 affordance 预测 - 场景图 (Scene Graph) 作为中间表征

Section H: 速算技巧¶

Card 61¶

Front: 默写 BEV 网格大小计算公式。 Back: \(B_{xy} = \sum_{z=h_{min}}^{h_{max}} F(\phi(u,v) \to (x,y)) \cdot I(u,v)\)。\(128m \times 128m\) 网格, 0.5m 体素 → \(256 \times 256\) 列。

Card 62¶

Front: PPO 数据利用率? Back: 每个 batch 复用 epoch=3-10 次 (取决于 batch size)。所以 on-policy 数据量大但 use 多次。SAC 等 off-policy 用 replay buffer。

Card 63¶

Front: VLA 训练时如何 freeze 视觉编码器? Back: 大部分 VLA freeze 视觉编码器(SigLIP 等已经预训练好), 只 fine-tune LLM + action head。这样 1 GPU 训练即可。

Card 64¶

Front: Diffusion Policy 推理速度? Back: - 16 步去噪: < 50 ms on A100 - 4 步去噪 (Consistency Policy): < 20 ms - edge deployment (Jetson): 50-100 ms

Card 65¶

Front: 卡尔曼滤波器在 SLAM 中为何被 EKF/UKF 取代? Back: - KF 假设线性高斯, SLAM 模型非线性 - EKF 一阶线性化 - UKF 用 sigma point, 二阶精度 - 但当前主流是 BA-based 优化方法 (非线性最小二乘)

Section I: 应用案例¶

Card 66¶

Front: Mars 2020 Perseverance 自主能力? Back: - 自主导航 (AutoNav): 计算路径避开障碍 - 25 km 总行驶里程 - 机械臂自主采样选择 - 与地球通信延迟 5-20 min, 必须自主决策

Card 67¶

Front: Waymo 自动驾驶实测数据? Back: - 累计 7000 万+ 英里, 100 亿+ 仿真里程 - 凤凰城/旧金山/洛杉矶商业化 Robotaxi - 2024 年每周 5 万次付费乘车

Card 68¶

Front: Tesla FSD v12 用户数据? Back: - 全球 200 万+ FSD 用户 - 累计驾驶里程 10 亿+ 英里 (车主使用数据) - 但需驾驶员监督, 事故率远高于人类 - 监管尚未批准无人化

Card 69¶

Front: Boston Dynamics Spot 应用? Back: - 工业巡检 (纽约警察局、挪威石油平台) - 建造工地绘图 - 矿业与搜救 - 售价 7.5 万美元

Card 70¶

Front: 主流 VLA 评测基准? Back: - ManiSkill2: 仿真机器人操作 - RLBench: 桌面级任务 - BridgeData V2: 真实厨房任务 - Open X-Embodiment 多机器人评估

Card 71¶

Front: 火星直升机 Ingenuity 飞行数据? Back: - 2021-04 首次动力飞行 (另一个星球首例) - 共 72 次飞行 - 单次最长 700m, 总 17 km - 极端环境: 大气 1/100 密度

Card 72¶

Front: 人形机器人 Tesla Optimus? Back: - 2021 公布, 2024 进入工厂测试 - 双手 11 自由度, 双腿 6 自由度 - 类人外形适合人类环境 - 价格未公开

Card 73¶

Front: Unitree H1 价格与能力? Back: - 价格 ≈ 9 万美元 (基础款) - 身高 1.8m, 体重 47kg - 跑速 3.3 m/s, 跳高 0.5m - 中国宇树科技

Card 74¶

Front: Boston Dynamics Atlas 退役 + 新版? Back: 2024 年液压 Atlas 退役, 推出全电动 Atlas。12 个自由度单腿, 类人推举能力。

Card 75¶

Front: Figure 02 人形机器人? Back: - Figure AI 公司, BMW 部署 (2024) - OpenAI 大模型合作 (传闻) - 单手指 24 自由度

Section J: 代码片段¶

Card 76¶

Front: 写出 SLAM 中 ICP 算法的核心 5 行。 Back:

import numpy as np
def icp_point_to_point(src, tgt, max_iters=50):
    T = np.eye(4)
    for _ in range(max_iters):
        src_h = T @ src
        # 找最近邻
        dists, idx = knn(src_h, tgt)
        # 求最优刚体变换
        T_new = rigid_transform(src_h, tgt[idx])
        T = T_new @ T
    return T

Notes: SLAM 中 ICP 简化版

Card 77¶

Front: 写出 7 维动作 token 化的简化代码。 Back:

def tokenize_action(action_7d, vocab, n_bins=256):
    """7 维 [-1,1] 连续动作 → 离散 token (类似 RT-2)。"""
    # 离散化: 7 维每一维 → 256 bins
    bins = ((action_7d + 1) * n_bins / 2).astype(int).clip(0, n_bins-1)
    # 查 vocab
    tokens = vocab[bins]  # (T, 7) → token ids
    return tokens

Notes: RT-2 动作离散化

Card 78¶

Front: 简化的 Diffusion Policy 训练循环。 Back:

def train_diffusion_policy(policy, optimizer, replay, num_steps):
    state, action_chunk = replay.sample()
    k = torch.randint(0, num_steps, (1,))
    noise = torch.randn_like(action_chunk)
    noisy = diffusion_forward(action_chunk, noise, k)
    eps_pred = policy.noise_net(noisy, state, k)
    loss = F.mse_loss(eps_pred, noise)
    optimizer.zero_grad(); loss.backward(); optimizer.step()
    return loss

Notes: DP 训练核心

Card 79¶

Front: 简化的卡尔曼滤波 5 行代码。 Back:

def kalman_predict(x, P, F, Q):
    return F @ x, F @ P @ F.T + Q

def kalman_update(x, P, z, H, R):
    K = P @ H.T @ np.linalg.inv(H @ P @ H.T + R)
    return x + K @ (z - H @ x), (np.eye(len(P)) - K @ H) @ P

Notes: KF 5 行核心

Card 80¶

Front: 简化 BEV 图像视角转换。 Back:

def img_to_bev(img_h, intrinsics, extrinsics, voxel_size=0.5):
    # 像素 → ego 坐标系 3D 点
    u, v = np.meshgrid(range(img_h.shape[1]), range(img_h.shape[0]))
    z = np.ones_like(u)  # 单位深度
    img_3d = pixel_to_world(u, v, z, intrinsics, extrinsics)
    # 投影到 BEV 平面 (X-Y 离散化)
    bev = np.zeros((256, 256, img_h.shape[2]))  # H x W x C
    for x, y, c in img_3d.reshape(-1, 3):
        i, j = int(x/voxel_size + 128), int(y/voxel_size + 128)
        if 0 <= i < 256 and 0 <= j < 256:
            bev[i, j] += img_h[v, u]
    return bev

Notes: BEV 简化版

Section K: 速记与对比¶

Card 81¶

Front: SLAM 与跟踪的差别? Back: SLAM 同时定位+建图;跟踪已有地图定位。SLAM 包含跟踪的子任务。

Card 82¶

Front: VLM 与 VLA 的训练差异? Back: - VLM: 文本-图像对 - VLA: 文本-图像-动作轨迹 - VLA 是 VLM + robot trajectories

Card 83¶

Front: 自动驾驶分级的中文标注? Back: - L0: 无自动化 - L1: 单一功能辅助 (ACC) - L2: 组合辅助 (Tesla AP) - L3: 条件自动驾驶 (奥迪 A8) - L4: 限定区域 (Waymo) - L5: 全场景 (尚不存在)

Card 84¶

Front: RRT 与 BEV Planner 差异? Back: - RRT: 经典采样路径规划 - BEV Planner: 端到端神经网络 - 工程: RRT 仍用于规划层, BEV 用于感知

Card 85¶

Front: PPO 与 A2C 的差异? Back: - A2C: 同步 A3C, 标准 actor-critic - PPO: 限制新策略更新幅度, clip ratio - PPO 比 A2C 更稳定,工业首选

Section L: 仿真¶

Card 86¶

Front: Isaac Sim 的优势? Back: - NVIDIA PhysX 物理引擎 - GPU 加速,可并行数千环境 - 真实感渲染 - ROS / Isaac SDK 集成

Card 87¶

Front: CARLA 的优势? Back: - 开源,学界最常用 - 城市环境,50+ 场景 - 多相机+激光雷达 - 限制: 渲染慢,仿真-真实差

Card 88¶

Front: Domain Randomization? Back: - 仿真阶段随机化物理参数 (摩擦/重力/光照/纹理) - 让策略对真实环境的偏移鲁棒 - OpenAI 2017 提出, 真实机器人 sim2real 常用

Card 89¶

Front: NeRF 仿真优势? Back: - 真实场景照片 → 神经渲染 - 仿真场景非常真实 - 可生成新视角,做自动驾驶 corner case - 训练慢, 但推理快 (尤其 3DGS)

Card 90¶

Front: Tesla 仿真平台? Back: 内置 Dojo 超算 + 神经渲染。运行里程 100 亿+ 仿真。

Section M: 综述与未来¶

Card 91¶

Front: VLA 通用化的 3 大挑战? Back: - 数据稀缺 (机器人轨迹贵) - 异构机器人 (形态/动作空间不同) - 仿真到真实差距

Card 92¶

Front: 端到端自驾为何爆发? Back: - Tesla 数据规模足够 (10 亿英里) - BEV + Transformer 让端到端可行 - Wayve, Waymo 转向 EMMA 类通用模型 - 模块化上限清晰, 转端到端是趋势

Card 93¶

Front: 自主系统最近 3 年的关键进步? Back: - Diffusion Policy (2023) - RT-2 / VLA (2023) - π0 (2024) - 端到端自驾 (2024) - Sora 类视频生成 (2024) - 世界模型 (2024-2025)

Card 94¶

Front: 未来 5 年自主系统方向? Back: - VLA + 世界模型 (Genie 3 类) - 端到端自驾大规模商业化 - 人形机器人量产 - 太空/海底/救灾机器人普及 - 联邦学习+隐私保护

Card 95¶

Front: 通用机器人 vs 专用机器人? Back: 当前主流仍是专用 (工厂焊接、手术辅助)。VLA 类通用机器人数据需求大,但 progress 快。Tesla Optimus、Figure 02 等向通用发进。

Card 96¶

Front: 自动驾驶端到端的 safety 如何保证? Back: - Tesla FSD 安全员实时监控 - Waymo 安全员远程接管 - Waymo 2024 推 Safety Case 报告 - 黑天鹅场景用仿真覆盖 - 政府监管(NHTSA, EU Type Approval)

Card 97¶

Front: 为什么波士顿的 Spot 没有大规模量产? Back: - 价格高 (7.5 万美元) - 用途限于工业巡检 - 普通人买不起 - 中国宇树 GO1 价格 1.5-3 万美元, 走量

Card 98¶

Front: 自主系统的 hard problems? Back: - 长尾场景 - 安全认证 - 人类交互 - 法规与责任 - Sim2Real gap

Card 99¶

Front: 跨过 Level 4 的关键? Back: - 雨雪极端天气 - 罕见障碍物 (小孩、宠物、施工) - 路径不可达 - 多车交互 - 法律事件响应

Card 100¶

Front: 一句话总结 Ch11。 Back: 自主系统 = 感知 (LiDAR/Camera/SLAM/BEV) + 决策 (RL/Diffusion Policy/VLA) + 执行 (MPC/PID) 闭环。Ch11 是机器人学 + RL + 多模态的总和应用。最前沿在 VLA 模型与端到端自驾。