讲解稿 · 第 08 章第 05 节 · 视频与 3D 视觉¶

口播时长：约 18 分钟｜建议语速：中速，公式处停两拍｜字数：约 4100 字

承 Ch08 §04 视觉 Transformer 与生成 → Ch08 §05 视频与 3D 视觉 → Ch09 §01 数字信号处理（跨章预告）

导语（约 80 秒）¶

讲三个把 AI 视觉"从图像推到世界"的技术。

第一个：2024 年 2 月，OpenAI 发布 Sora，能生成 60 秒 1080p 视频——你写"一只宇航员在太空站散步，窗外是地球"，它生成完全符合物理规律的长视频。背后是 Video DiT（Diffusion Transformer）。

第二个：2016 年起自动驾驶领域普遍采用光流估计——从连续两帧 RGB 算出每像素运动向量。光流是计算机视觉里"理解运动"的核心。

第三个：2020 年 Mildenhall et al. 的 NeRF（Neural Radiance Fields），用一组多角度照片重建 3D 场景——这一技术成为 AR/VR、机器人、自动驾驶仿真的标配。

今天 18 分钟讲清 4 件事：① 视频基本概念（光流 + Kalman 滤波）；② 视频理解的判别式方法（3D-CNN + SlowFast）；③ 视频生成（Video Diffusion + Sora）；④ 3D 视觉（NeRF + 3D Gaussian Splatting）。

一 · 视频基础：从图片到运动（约 4 分钟）¶

1.1 视频 = 时间序列¶

视频是连续帧，每帧 30/60 fps。一段 10 秒的 1080p 视频 = 600 帧 × 1920×1080×3 = 11.7 GB（未压缩）。视频模型的核心挑战：

时空冗余：相邻帧差异只有 1-5%，但每帧独立编码浪费
运动建模：捕获"物体怎么动"，需要时序 attention / 3D-CNN / 光流
数据规模：未标注视频无限，但有标注视频昂贵

1.2 光流 (Optical Flow)：每个像素的运动向量¶

定义：相邻两帧 $I_{t-1}$, $I_t$，每个像素 $(x, y)$ 在 $t-1$ 到 $t$ 的位移 $(u, v)$。

数学建模（亮度恒定假设）： $$I(x, y, t-1) = I(x+u, y+v, t)$$

一阶 Taylor 展开： $$I_x u + I_y v + I_t = 0$$

这是一个孔径问题：每个像素给一个方程，两个未知数。需要额外正则化（L-K 法假设邻域运动一致，H-S 法用图像金字塔）。

经典算法： - Lucas-Kanade (L-K, 1981)：局部 5×5 邻域内 25 个方程求 2 未知数，最小二乘 - Horn-Schunck (H-S, 1981)：全局平滑正则化，$L^2$ 能量函数 - FlowNet (2015) / FlowNet 2.0 / RAFT (2020)：深度学习光流，端到端训练

实际应用：自动驾驶前端摄像头测光流 → 估算自车运动方向与速度；视频编码 P 帧用光流做 motion compensation。

1.3 Kalman 滤波：状态跟踪的经典算法¶

视频分析另一个基础问题：已知 noisy 观测，推断隐藏状态。

例如：跟踪一个移动的球，从图像提取的位置 $(x, y)$ 不准（有检测误差 + 遮挡），怎么估计真位置和速度？

状态空间建模： $$x_t = A x_{t-1} + B u_t + w_t, \quad w_t \sim \mathcal{N}(0, Q)$$ $$z_t = H x_t + v_t, \quad v_t \sim \mathcal{N}(0, R)$$

$x_t = [x, y, v_x, v_y]^\top$ (位置 + 速度)，$z_t$ 是观测位置。

Kalman 滤波两步： 1. 预测：$\hat x_t^- = A \hat x_{t-1} + B u_t$，$P_t^- = A P_{t-1} A^\top + Q$ 2. 更新：$K_t = P_t^- H^\top (H P_t^- H^\top + R)^{-1}$ (卡尔曼增益) $\hat x_t = \hat x_t^- + K_t(z_t - H \hat x_t^-)$，$P_t = (I - K_t H) P_t^-$

直觉：预测 → 看测量 → 修正（用卡尔曼增益做"信任预测 vs 信任测量"的加权）。

工程实用包：filterpy (Python)、OpenCV、MATLAB。Pyodide 实现只需 20 行 NumPy。

二 · 视频理解的判别式方法（约 4 分钟）¶

2.1 3D-CNN：把 2D CNN 加一维时间维¶

思路最直接：把 ResNet/EfficientNet 的 2D 卷积改成 3D（kernel = 3×3×3 跨时空）。 - Kinetics-400 数据集 (400 类动作，306k 视频)，UCF101 (13k 视频) - I3D (Inflated 3D ConvNet, 2017)：把 Inception 的 2D 卷积扩展到 3D，在 Kinetics 上 SOTA

优点：实现简单，预训练容易。缺点：参数量大 (I3D 12M vs ResNet-50 25M)，实时性差。

2.2 Two-Stream：空间流 + 时间流¶

Simonyan & Zisserman, 2014： - 空间流：单帧 RGB 进入 CNN → 静态特征（"是什么"） - 时间流：10 帧光流场 (10 × u,v) 进入 CNN → 运动特征（"在做什么"） - 融合：两个流的 softmax 分数平均

在 UCF101 上 88%，比纯 RGB 高 5-7 个点。Kinetics 出来后逐步被 ViT 风格模型取代。

2.3 SlowFast：双速率网络¶

Facebook AI, 2019： - Slow 路径：低帧率（如 8 fps）从 RGB 中提取空间细节 - Fast 路径：高帧率（如 64 fps）从 RGB 中提取运动细节（channel 数 1/8） - 横向连接：Fast → Slow 加权融合

效果：SlowFast 在 Kinetics-400 79.0% top-1，且实时（CPU 上 26.7 fps @ 8×8 输入）。

工程实用：SlowFast 是当前最快的视频理解模型之一，适合机器人/无人机实时控制。

2.4 Video Swin / TimeSformer：Transformer 进入视频¶

把 ViT 扩到视频有几种方式：

方法	思路	代表
Joint Space-Time Attention	一帧所有 patch + 时空所有帧做全局 attention	ViViT, TimeSformer
Divided Space-Time	空间 attention + 时间 attention 分离	Video Swin, MViT
Factorised Attention	因式分解降低复杂度	X-Vision

Video Swin Transformer： - 3D shifted window attention（在时空 window 内） - Kinetics-400 上 84.6% top-1 - 参数量 200M，复杂度可控

新里程碑：2024 年 Video-MAE（掩码自编码预训练），用无标注视频预训练 ViT 3D。在 Kinetics-400 跳到 86.5%。

三 · 视频生成：Diffusion + Transformer（约 5 分钟）¶

3.1 Video Diffusion Model 起源¶

Ho et al., 2022 (Google)： - 在 3D UNet (空间 + 时间维度) 上跑扩散 - 16 帧 × 64×64 → 视频片段 - 训练数据：UCF、BAIR 机器人动作

效果有限（分辨率低、长度短），但证明了视频扩散可行。

3.2 Video LDM (Latent Diffusion)¶

Blattmann et al., CVPR 2023： - 用 3D VAE 把视频压缩到 latent（时间 + 空间维度都压缩） - 在 latent 上跑 3D 扩散 - 输出可上采样到 1280×2048

U-Net + temporal attention，能生成 4 秒短视频。

3.3 Sora 突破¶

OpenAI, 2024-02： - 核心：把 Stable Diffusion 的 DiT (Diffusion Transformer) 推广到时空 Transformer (Spacetime Patches) - 时空 token 化：把视频切成时空 patch，每个 patch 是 3D token - Transformer 在时空 token 序列上跑 attention + 扩散

效果： - 60 秒 1080p 视频生成 - 任意宽高比 - 物理规律部分涌现（液体泼洒符合流体力学，物体保持 3D 一致性） - 数据规模：YouTube 视频 + Shutterstock + 自录

3.4 Sora 之外：可灵 (快手)、Pika、Runway Gen-3¶

国内：快手 可灵 (Kling)，2024 年 6 月发布，1080p 30 秒视频，Cohesive 3D 效果突出。 Pika Labs, Runway Gen-3, ElevenLabs 等同步竞争。

技术路线差异： - Sora：DiT 大模型 + 海量数据 - 可灵：双流 DiT + 自研训练策略 - Runway：电影行业绑定，注重相机控制 (camera pan/zoom)

3.5 Video Transformer 关键设计¶

时空注意力复杂度问题：$n_t \times n_s$ 个 token，标准 attention 是 $O((n_t n_s)^2)$。必须用时空分离或稀疏 attention。

因果性：自回归视频生成需要 causal mask（t 帧只能看 ≤ t 帧），否则会"看未来"破坏生成。

关键帧 (keyframes)：很多模型先生成稀疏关键帧再插值，如 AnimateDiff。

四 · 3D 视觉：NeRF 与 3D Gaussian Splatting（约 4 分钟）¶

4.1 NeRF (Neural Radiance Fields) 原理¶

Mildenhall et al., ECCV 2020 (Google)： - 输入：多角度 (50-200 张) 同一物体的照片 + 相机位姿 - 训练一个 MLP：输入 5D (x, y, z, θ, φ)，输出颜色 (RGB) 和体密度 (σ) - 渲染：沿射线做体积分，得像素颜色

关键公式： $$C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) c(\mathbf{r}(t), \mathbf{d}) dt$$ 其中 $T(t) = \exp(-\int_{t_n}^t \sigma(\mathbf{r}(s)) ds)$ 是累积透射率。

训练损失：MSE 渲染像素 vs 真实像素。

4.2 NeRF 局限与突破¶

NeRF 原始版训练 12-24 小时一张场景，渲染慢（30 秒/帧 @ 高质量）。

改进： - Instant-NGP (NVIDIA, 2022)：哈希编码 + 早期停止，30 秒训练 - Mip-NeRF 360 (2022)：无界场景重建 - NeRF-W (2021)：动态场景 + 移除瞬态物 - NeRF for editing：DragNeRF, Instruct-NeRF 允许用户编辑 3D 场景

4.3 3D Gaussian Splatting (3DGS)¶

Kerbl et al., SIGGRAPH 2023： - 核心创新：用各向异性 3D Gaussian 代替 NeRF 的 MLP 隐式表达 - 每个 Gaussian：3D 位置 + 协方差矩阵 + 球谐系数 (颜色) + opacity - 渲染：把 3D Gaussian 投影到 2D 图像，做 splatting - 训练：微分光栅化 + L1 + D-SSIM 损失

效果： - 训练速度：1 分钟（vs NeRF 12 小时） - 渲染速度：30+ fps @ 1080p （vs NeRF 30 秒） - 质量：同等或更好 (PSNR/SSIM)

应用：3DGS 已成为新基线，快速取代 NeRF 在产品级应用（3D 重建、虚拟试穿、城市建模、自动驾驶仿真）。

4.4 3D 视觉与机器人/Ch11 连接¶

Autonomy 章节 (Ch11) 用 3D Gaussian / NeRF 做自动驾驶场景重建和仿真
VLA 章节 (Ch11 §03) 把视觉-语言-动作模型应用到机器人，需要 3D 场景理解
AR/VR：Apple Vision Pro 用 3DGS 做实时场景捕捉

五 · 时序数据基础：什么是"视频流"（约 1 分钟）¶

视频本质上是一个时间序列。你跳到 Ch09 §01 之后会发现音频也是 1D 时序信号（16 kHz），与视频帧 (30 Hz + RGB) 都属于 time-series 数据。

共同概念： - 采样：Nyquist 定理 $f_s \geq 2f_{\max}$ - 平滑 / 卷积：移动平均、Gabor 小波 - 滤波器：低通 / 高通 / 带通 - 短时傅里叶 (STFT)：时频分析 - 自回归 / 时序模型：LSTM、GRU、Transformer-XL、Mamba

视频与音频的本质区别只是通道数和采样率。学到 §05 这一节就跨入了"动态感知"的领域——Ch09 + Ch10 + Ch11 都建立在"时间维度"和"多模态"的概念上。

跨章衔接（约 60 秒）¶

Ch08 §05 把视觉从"图像级"推到"视频级"+"3D 级"。视频 = 时空 4D 数据，3D 视觉=多视图几何。下一章 Ch09 进入音频（时序但 1D），会讲到与视频平行的概念：Nyquist 采样、MFCC 特征、HMM 声学模型——本质上是语音版的"图像理解"。

Ch08 整章回顾：图像基础（§01）→ CNN 经典（§02）→ 目标检测 YOLO（§03）→ Vision Transformer + 扩散（§04）→ 视频与 3D（§05）。这条路径就是过去十年计算机视觉行业的缩影——从 CNN 时代走向 Transformer + Diffusion 时代，再走向多模态、可控生成、3D 一致。无论你现在做的是图像分类、医学影像还是自动驾驶，这 5 节都是你绕不开的基础。

讲解稿 · 第 08 章 第 05 节 · 视频与 3D 视觉¶