跳转至

Ch11 自主系统 · 思维导图 (Mermaid)

一 · 章节主入口

🌳 Ch11 章 知识图谱
├─ §01 感知
│  └─ LiDAR 测距
│  │  └─ 905 nm / 1550 nm
│  │  └─ 点云配准 ICP/NDT
│  └─ Camera
│  │  └─ Mono / Stereo
│  │  └─ 深度估计
│  └─ SLAM
│  │  └─ ORB-SLAM
│  │  └─ VIO
│  │  └─ 3DGS SLAM
│  └─ BEV 占据
│  │  └─ 端到端 BEV
│  │  └─ 占据网络
│  │  └─ Diffusion 占据
├─ §02 机器人学习
│  └─ 强化学习
│  │  └─ PPO 裁剪
│  │  └─ SAC 最大熵
│  │  └─ TD3 双 critic
│  │  └─ Offline RL
│  └─ 模仿学习
│  │  └─ Behavior Cloning
│  │  └─ DAgger 数据聚合
│  │  └─ GAIL 逆 RL
│  └─ Diffusion Policy
│  │  └─ 16 步去噪
│  │  └─ Horizon-hierarchy
│  └─ Sim-to-Real
│  │  └─ Domain Randomization
│  │  └─ Real2Sim
├─ §03 VLA 模型
│  └─ RT-2
│  │  └─ 动作 token
│  │  └─ 通用化
│  └─ π0
│  │  └─ 3B VLA
│  │  └─ 异构机器人
│  └─ OpenVLA
│  │  └─ 7B 开源
│  │  └─ SigLIP + Llama
│  └─ VLA + 世界模型
│  │  └─ DreamGen
│  │  └─ iVideoGPT
│  └─ 评测 OpenX-Embodiment
│  │  └─ 22 机器人
│  │  └─ 1M 轨迹
├─ §04 自动驾驶
│  └─ 模块化
│  │  └─ 检测 / 跟踪
│  │  └─ 预测 / 规划
│  └─ 端到端
│  │  └─ BEV 占据
│  │  └─ 世界模型
│  │  └─ 端到端规划
│  └─ 仿真
│  │  └─ NeuRAD
│  │  └─ CARLA
│  │  └─ Waymax
│  └─ 等级 L1-L5
│  │  └─ L2 辅助
│  │  └─ L4 限定
│  │  └─ L5 全场景
├─ §05 太空与极端机器人
│  └─ Mars 2020
│  │  └─ Ingenuity 直升机
│  │  └─ Perseverance 机械臂
│  └─ 四足
│  │  └─ Spot
│  │  └─ ANYmal
│  └─ 人形
│  │  └─ Figure 02
│  │  └─ Unitree H1
│  └─ 仿生
│  │  └─ RoboBee
│  │  └─ Snake 机器人
│  └─ 仿真到真实
│  │  └─ 高保真仿真
│  │  └─ 鲁棒 RL

二 · 对比路径

graph LR
    A[感知] -->|输入| B[决策]
    B -->|动作| C[执行]
    C -->|反馈| A

    S[SLAM] --> SLAM_ORB[ORB-SLAM]
    S --> SLAM_NERF[NeRF SLAM]
    S --> SLAM_GS[3D Gaussian]
    SLAM_ORB --> LOOP[回环检测]

    RL[RL] --> PPO[PPO 2027]
    RL --> SAC[SAC 2018]
    RL --> TD3[TD3 2018]
    RL --> D4PG[D4PG 2017]

    VLA --> RT2[RT-2 2023]
    VLA --> PI0[π0 2024]
    VLA --> OPV[OpenVLA 2024]

    AD[AD 路线] --> MOD[模块化 经典]
    AD --> E2E[端到端 2023+]
    AD --> HYB[Hybrid 2024+]

三 · §01 感知子图

🌳 Ch11 章 知识图谱
├─ LiDAR
│  └─ 测距 d=ct/2
│  └─ 点云
│  └─ ICP 配准
├─ Camera
│  └─ Mono
│  └─ Stereo Z=fB/d
│  └─ 深度估计
├─ IMU
│  └─ 加速度
│  └─ 角速度
│  └─ 预积分
├─ SLAM
│  └─ 前端 ORB
│  └─ 后端 BA
│  └─ 回环 词袋
├─ BEV
│  └─ 鸟瞰网格
│  └─ 高度聚合
│  └─ 占用预测
├─ 3D Gaussian
│  └─ SplaTAM
│  └─ GS-SLAM

四 · §02 学习子图

🌳 Ch11 章 知识图谱
├─ RL
│  └─ On-policy
│  │  └─ PPO clip
│  │  └─ TRPO
│  └─ Off-policy
│  │  └─ SAC
│  │  └─ TD3
│  └─ Model-Based
│  │  └─ Dreamer
│  │  └─ MBPO
├─ IL
│  └─ Behavior Cloning
│  └─ DAgger
│  └─ GAIL
│  └─ Diffusion Policy
├─ Sim2Real
│  └─ Domain Rand
│  └─ System ID
│  └─ Robust RL
├─ Reward
│  └─ Sparse
│  └─ Dense
│  └─ Human

五 · §03 VLA 子图

🌳 Ch11 章 知识图谱
├─ Architecture
│  └─ V encoder
│  └─ L encoder
│  └─ Token 共享输出
│  └─ Action token
├─ 训练
│  └─ 预训练 SFT
│  └─ OpenX-Embodiment
│  └─ CoT 推理
├─ 评测
│  └─ ManiSkill2
│  └─ RLBench
│  └─ Bridge Data
├─ 代表作
│  └─ RT-2
│  └─ π0
│  └─ OpenVLA
├─ World Model
│  └─ DreamGen
│  └─ iVideoGPT

六 · §04 自动驾驶子图

🌳 Ch11 章 知识图谱
├─ 等级
│  └─ L2 辅助
│  └─ L3 条件
│  └─ L4 限定 ODD
│  └─ L5 全场景
├─ 路线
│  └─ 模块化 Waymo Classic
│  └─ 端到端 Tesla FSD v12
│  └─ Hybrid DriveVLM
├─ 核心模块
│  └─ BEV 占据
│  └─ Diffusion 预测
│  └─ Planner
│  └─ Safety Monitor
├─ 仿真
│  └─ CARLA
│  └─ Waymax
│  └─ NeuRAD
├─ 数据集
│  └─ nuScenes
│  └─ Waymo Open
│  └─ Argoverse 2
├─ 公司
│  └─ Waymo
│  └─ Cruise
│  └─ Pony.ai
│  └─ 小马智行
│  └─ Apollo
│  └─ Momenta

七 · §05 太空子图

🌳 Ch11 章 知识图谱
├─ Mars
│  └─ Perseverance
│  │  └─ 机械臂采样
│  │  └─ 自主导航
│  └─ Ingenuity
│  │  └─ 直升机
│  │  └─ 52 次飞行
├─ 四足
│  └─ Spot
│  └─ ANYmal
│  └─ GO1
├─ 人形
│  └─ Optimus
│  └─ Figure 02
│  └─ H1
├─ 危险
│  └─ 搜救
│  └─ 巡检
│  └─ 灾难响应
├─ 仿真到真
│  └─ Isaac Sim
│  └─ MuJoCo
│  └─ 高保真物理

八 · 跨章桥接

graph TB
    C06[Ch06 RL] --> T1[Ch11 §02 PPO/SAC]
    C08[Ch08 3D Gaussian] --> T2[Ch11 §01 NeRF SLAM]
    C09[Ch09 Kalman] --> T3[Ch11 §01 VIO]
    C10[Ch10 VLM] --> T4[Ch11 §03 VLA]
    C17[Ch17 边缘推理] --> T5[Ch11 §04 车端]
    C03[Ch03 优化] --> T6[Ch11 §02 RL 优化]

九 · 决策树 (选哪种自主系统方案)

graph TD
    START([任务?]) --> Q1{感知输入?}
    Q1 -->|激光为主| SL[3D Gaussian SLAM]
    Q1 -->|视觉为主| VI[Visual Inertial SLAM]
    Q1 -->|多模态融合| MV[Multi-Modal SLAM]

    Q2{决策方式?}
    Q2 -->|有大量数据| IL[模仿学习 + Diffusion Policy]
    Q2 -->|可仿真| RL_BC[RL + 仿真训练]
    Q2 -->|需要通用指令| VLA_DECISION[VLA 端到端]

    Q3{动作输出?}
    Q3 -->|底盘| CTRL_NAV[规划 + MPC]
    Q3 -->|机械臂| CTRL_ARM[VLA token 化]
    Q3 -->|飞行器| CTRL_FLY[路径 + 约束]

十 · 时间线 (历史里程碑)

timeline
    2014 : ORB-SLAM 起点
    2017 : PPO 算法 出现
    2018 : SAC + TD3
    2019 : SlowFast / BEV 概念
    2021 : Waymo 商业化
    2022 : Tesla AI Day 端到端路线
    2023 : Diffusion Policy / RT-2
    2024 : π0 / OpenVLA / Tesla FSD v12
    2025 : iVideoGPT 世界模型

十一 · 关键概念关系

graph LR
    A[SLAM] --> B[定位]
    A --> C[建图]
    B --> D[导航]
    C --> E[感知]

    F[PPO] --> G[策略]
    H[模仿学习] --> G
    G --> I[行为]

    J[LLM] --> K[VLM]
    K --> L[VLA]
    L --> M[机器人动作]

十二 · 实际工业部署架构

flowchart TB
    Sense["传感器<br/>10x Cam + 1x LiDAR + IMU"] --> Pre["预处理<br/>图像去噪 / 时间同步"]
    Pre --> BEV["BEV 编码<br/>ViT-L 主干"]
    BEV --> Occup["占据预测<br/>3D CNN / 扩散"]
    BEV --> Det["目标检测<br/>CenterPoint"]
    Det --> Track["卡尔曼跟踪<br/>Hungarian"]
    Occup --> Plan["规划器<br/>MPC + IL"]
    Track --> Plan
    Plan --> VLMCheck["VLM 校验<br/>安全性 / 规则"]
    VLMCheck --> Ctrl["控制<br/>PID"]
    Ctrl --> Actuators["底盘 / 方向盘"]

这张导图覆盖 Ch11 全章。建议: 1. 第一次复习把"章节主入口"背出 2. 第二次复习按节背诵子图 3. 第三次背诵"时间线",感知历史发展