第08章 计算机视觉 · 思维导图¶
一句话总结: Ch08 是从像素到分割到多模态的视觉技术栈 — CNN 提取特征, 检测/分割定位物体, ViT/CLIP 统一文本图像表征, 是 2024 多模态 AI 基础。
承接 Ch06: Ch06 §03 MLP+卷积+激活函数, Ch06 §04 autograd, Ch06 §05 RLHF-PPO (Ch08 §05 CLIP 也用对比学习) 承接 Ch07: Ch07 §04 Transformer QK^T/√d_k V → Ch08 §05 ViT (Transformer 搬到图像) 承接 Ch05: Ch05 §05 KL 散度/perplexity → Ch08 §05 CLIP 损失
思维导图 (Mermaid, 60-100 节点, 🟢/🟡/🔴 难度色标)¶
🌳 Ch8 章 知识图谱
├─ §01 图像基础与卷积
│ └─ 像素 + 通道 🟢
│ │ └─ H×W×C 张量
│ │ └─ RGB=3 通道
│ │ └─ MNIST 28×28 灰度
│ └─ 卷积运算 🟢
│ │ └─ 小核共享参数
│ │ └─ 3×3 5×5 7×7
│ │ └─ 步长 stride
│ │ └─ 填充 padding
│ │ └─ 输出尺寸 (I-K+2P)/S+1
│ └─ 池化下采样 🟢
│ │ └─ 最大池化
│ │ └─ 平均池化
│ │ └─ 全局平均池化
│ └─ 批归一化 BN 🟡
│ │ └─ 训练用 batch 统计
│ │ └─ 推理用全局
│ │ └─ gamma/beta 可学习
│ │ └─ 缓解内部协变量偏移
│ └─ 数字例
│ │ └─ 5×5 卷积 Sobel 边缘
│ │ └─ 输出 (5-3+0)/1+1=3
├─ §02 经典 CNN 架构
│ └─ LeNet-5 (1998) 🟢
│ │ └─ 5 层, MNIST 99%
│ │ └─ 2 Conv+Pool
│ │ └─ 数字识别
│ └─ AlexNet (2012) 🟡
│ │ └─ 8 层, 60M 参数
│ │ └─ ReLU 激活
│ │ └─ Dropout 0.5
│ │ └─ 双 GPU 训练
│ │ └─ ImageNet top-5 16.4%
│ └─ VGG-16/19 (2014) 🟡
│ │ └─ 13/16 Conv + 3 FC
│ │ └─ 全 3×3 卷积
│ │ └─ 138M 参数
│ │ └─ top-5 7.3%
│ └─ GoogLeNet (2014) 🟡
│ │ └─ Inception 模块
│ │ └─ 1×1 降维卷积
│ │ └─ 22 层, 5M 参数
│ │ └─ top-5 6.7%
│ └─ ResNet (2015) 🔴
│ │ └─ 残差连接 F(x)+x
│ │ └─ 152 层
│ │ └─ 60M 参数
│ │ └─ top-5 3.57%
│ │ └─ 首次超人类 5.1%
├─ §03 目标检测与 YOLO
│ └─ IoU 交并比 🟢
│ │ └─ |A∩B|/|A∪B|
│ │ └─ NMS 阈值 0.5
│ └─ mAP 平均精度均值 🟡
│ │ └─ AP 各 recall 最大 precision
│ │ └─ mAP@0.5 vs @0.5:0.95
│ │ └─ COCO 标准
│ └─ R-CNN 系列 🟡
│ │ └─ 两阶段: 区域提议 + 分类
│ │ └─ Faster R-CNN 5 FPS
│ │ └─ Mask R-CNN 实例分割
│ └─ YOLO 单阶段 🟡
│ │ └─ 单次前向传播
│ │ └─ YOLOv1 45 FPS
│ │ └─ YOLOv8 100-280 FPS
│ └─ 损失函数 🟡
│ │ └─ 坐标损失
│ │ └─ 置信度损失
│ │ └─ 类别损失
│ └─ YOLOv8 anchor-free 🟡
│ │ └─ C2f 模块
│ │ └─ TAL 任务对齐
│ │ └─ COCO mAP 53.9
├─ §04 图像分割与 U-Net
│ └─ 分割三类型 🟢
│ │ └─ 语义分割: 类别
│ │ └─ 实例分割: 类别+ID
│ │ └─ 全景分割: 两者合一
│ └─ U-Net 编码-解码 🟡
│ │ └─ 4 次下采样
│ │ └─ 4 次上采样
│ │ └─ 跳跃连接 concat
│ │ └─ 医学影像标准
│ │ └─ ISBI 错误率 3%
│ └─ Dice 损失 🟡
│ │ └─ 2|P∩G|/
│ │ └─ 类别不平衡稳定
│ │ └─ 解决肿瘤/小目标
│ └─ Mask R-CNN 🟡
│ │ └─ Faster R-CNN + FCN
│ │ └─ 14×14 RoIAlign
│ │ └─ 37.1 mAP COCO
├─ §05 视觉 Transformer 与多模态
│ └─ ViT (2021) 🔴
│ │ └─ 16×16 patch 当 token
│ │ └─ N=(H·W)/P² 个 patch
│ │ └─ ImageNet 88.5%
│ │ └─ Transformer 首次超 CNN
│ └─ DETR 检测 🔴
│ │ └─ 端到端检测
│ │ └─ 无 anchor 无 NMS
│ │ └─ 集合预测
│ └─ CLIP (2021) 🔴
│ │ └─ 文本-图像对齐
│ │ └─ 对比学习损失
│ │ └─ 4 亿 (图,文) 对
│ │ └─ zero-shot 迁移
│ └─ SAM (2023) 🔴
│ │ └─ Segment Anything
│ │ └─ 提示驱动分割
│ │ └─ 10 亿掩码训练
│ │ └─ 零样本分割
│ └─ 多模态大模型 🟡
│ │ └─ LLaVA / GPT-4V
│ │ └─ 视觉指令微调
│ │ └─ 文-图统一表征
├─ 跨章桥接
│ └─ Ch06 §03 CNN+激活函数
│ │ └─ 卷积核共享参数
│ │ └─ ReLU 替代 sigmoid
│ └─ Ch07 §04 Transformer
│ │ └─ ViT 借鉴 QK^T/√d_k V
│ │ └─ patch 当 token
│ └─ Ch05 §05 KL 散度
│ │ └─ CLIP 对比损失
│ │ └─ 信息论统一表征
学习路径 (7 天扎实)¶
- Day 1: §01 图像基础 (像素/卷积/池化/BN) - 手算 5×5 Sobel
- Day 2: §02 LeNet→AlexNet - 跑通 MNIST 训练
- Day 3: §02 VGG/GoogLeNet/ResNet - 跑通 CIFAR-10 分类
- Day 4: §03 IoU/mAP 指标 - 跑通 YOLOv8 自定义数据
- Day 5: §04 U-Net/Dice 损失 - 跑通医学影像分割
- Day 6: §05 ViT/CLIP - 跑通 zero-shot 图像分类
- Day 7: §05 SAM - 跑通零样本分割, 跨章总复习
依赖关系¶
- §01 → §02 → §03 (图像 → CNN 架构 → 目标检测)
- §01 → §04 (图像 → U-Net 分割)
- §02 → §05 (CNN → ViT 替代)
- §07 §04 → §05 (Transformer → ViT 借鉴)
常见误区¶
- 把 CNN vs Transformer 当 "互相替代" — 实际是混合 (CoAtNet, EfficientFormer)
- 期望 ViT 完全超越 CNN — ViT 在大数据集 (>100M 图) 强, 小数据集 CNN 仍占优
- 把 U-Net 当医学专用 — 通用, 卫星/车道/工业都广泛使用
- YOLO 是单阶段所以比 Faster R-CNN 简单 — YOLO 损失函数设计极精巧, 工程比两阶段难
- 把 CLIP 当纯图像模型 — 实际是 text-image 联合表征, zero-shot 是核心
节点统计¶
- 5 主干节 + 跨章桥接 = 6 大组
- 60+ 节点 (🟢 30%, 🟡 50%, 🔴 20%)
- 关键公式标注: 卷积/IoU/Dice/ResNet 残差/YOLOv8 anchor-free/ViT patch/CLIP 对比
- 数字例 ≤3 步可验: 5×5 卷积/Sobel/ResNet 152/IoU 0.5/Dice 0.8
- 跨章承接: Ch05 §05 KL/perplexity/互信息; Ch06 §03 MLP/CNN; Ch07 §04 Transformer