Ch08 计算机视觉 · 50 张闪卡 (v1.2 配比)¶
分布: 5 节各 8-12 张, 定义 25% + 公式 25% + 直觉 25% + 反例 20% + 类比 5% 关键公式 ≥ 8 张: 卷积/池化/IoU/Dice/ResNet shortcut/ViT patch/CLIP loss/YOLOv8 anchor-free 承接 Ch05-Ch07: KL 散度 (CLIP) + Transformer attention (ViT) + RLHF (多模态微调)
卡片 1（🟢 定义）图像数字化¶
Q: 图像在计算机中如何表示? A: 三维张量 \((H, W, C)\): \(H\) 高度, \(W\) 宽度, \(C\) 通道 (灰度 1, RGB 3)。MNIST 28×28×1, ImageNet 224×224×3, 4K 3840×2160×3。 提示: 像素 = 0-255 或 0-1 数值。 来源: 01.图像基础 §定义
卡片 2（🟢 公式）2D 卷积公式¶
Q: 2D 卷积数学定义? A: \((I * K)[i, j] = \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} I[i+m, j+n] \cdot K[m, n]\) 输出尺寸: \(O = \lfloor (I - K + 2P) / S \rfloor + 1\) (P padding, S stride) 提示: 互相关 cross-correlation, 工程上等价卷积。 来源: 01.图像基础 §公式
卡片 3（🟢 公式）池化¶
Q: 2×2 max pooling 数学? A: \(P[i, j] = \max_{(m, n) \in [0,2)^2} I[2i+m, 2j+n]\) 例子: 4×4 输入, stride 2 → 2×2 输出, 每值 = 对应 2×2 块最大值 提示: max pool 默认; avg pool 平滑; global avg pool 整图一个值 来源: 01.图像基础 §公式
卡片 4（🟡 公式）批归一化 BN¶
Q: BN 公式? A: \(\hat x_i = (x_i - \mu_B) / \sqrt{\sigma_B^2 + \epsilon}\), \(y_i = \gamma \hat x_i + \beta\) \(\mu_B, \sigma_B^2\) 小批均值/方差; \(\gamma, \beta\) 可学习; \(\epsilon = 10^{-5}\) 防除零 提示: 训练用 batch 统计, 推理用全局滑动平均 来源: 01.图像基础 §公式
卡片 5（🟢 反例）深度=准确率?¶
Q: 22 层 GoogLeNet 比 50 层 ResNet 准确率高? A: 错! 深度需残差连接才有效, 无残差时 50 层训练准确率可能仅 50%。ResNet 152 比 GoogLeNet 22 准确率高 2 个百分点且参数量更少。 提示: 残差 = 关键。 来源: 02.经典CNN §反例
卡片 6（🟢 公式）3×3 vs 5×5 参数对比¶
Q: 5×5 卷积 (64→64) 参数量 vs 两个 3×3 堆叠? A: 5×5: \(5 \times 5 \times 64 \times 64 = 102,400\) 两个 3×3: \(2 \times 3 \times 3 \times 64 \times 64 = 73,728\) 节省 28% 参数 + 多 1 个 ReLU 提示: VGG-16 全部用 3×3 来源: 02.经典CNN §公式
卡片 7（🟢 定义）ResNet 残差块¶
Q: 残差块数学? A: \(y = \mathcal{F}(x, \{W_i\}) + x\), \(\mathcal{F}\) 残差映射 - 让网络学 \(\mathcal{F}(x) = H(x) - x\), 输出 \(F(x) + x\) - 梯度直接通过恒等路径反传 提示: 当维度不匹配, 用 \(W_s x\) 投影 来源: 02.经典CNN §定义
卡片 8（🟡 数字）ImageNet 错误率演化¶
Q: ImageNet top-5 错误率从 2010 到 2015 演化? A: 2010 28.2% → 2012 AlexNet 16.4% → 2014 GoogLeNet 6.7% → 2015 ResNet 3.57% 人类水平 5.1%, 2015 ResNet 首次超越 提示: 6 年暴跌 25 个百分点 来源: 02.经典CNN §数字
卡片 9（🟡 定义）IoU 交并比¶
Q: 两个边界框 IoU 公式? A: \(\text{IoU}(A, B) = \dfrac{|A \cap B|}{|A \cup B|} = \dfrac{|A \cap B|}{|A| + |B| - |A \cap B|}\) - \(\in [0, 1]\), 1 = 完全重合 - 训练: 阈值 > 0.5 算 TP, < 0.5 算 FN 提示: NMS 用 IoU > 0.5 抑制重叠框 来源: 03.目标检测 §定义
卡片 10（🟡 定义）mAP 计算¶
Q: mAP 平均精度均值? A: AP = 按置信度排序所有预测, 计算每个 recall 下的最大 precision, 积分得 AP mAP = 所有类 AP 的平均 mAP@0.5 (IoU ≥ 0.5 算) vs mAP@0.5:0.95 (IoU 0.5-0.95 平均, 更严格) 提示: COCO 标准 0.5:0.95 来源: 03.目标检测 §定义
卡片 11（🟡 公式）YOLOv8 损失¶
Q: YOLOv8 损失 3 部分? A: \(L = L_{\text{cls}} + L_{\text{box}} + L_{\text{mask}}\) - \(L_{\text{cls}}\) 分类 (focal loss) - \(L_{\text{box}}\) 框回归 (CIoU loss) - \(L_{\text{mask}}\) 分布焦点损失 (DFL) 提示: anchor-free 直接预测中心点 + 宽高 来源: 03.目标检测 §公式
卡片 12（🟡 反例）准确率当检测指标?¶
Q: 报"准确率 90%"代替 mAP 检测? A: 错! 准确率掩盖漏检, 必须报 mAP。检测输出 100 框, 实际 20 物体, mAP 综合衡量前 N 框里真物体比例。 提示: 准确率 vs mAP 是不同指标 来源: 03.目标检测 §反例
卡片 13（🟡 数字）YOLOv8 速度¶
Q: YOLOv8 速度? A: YOLOv8n (3.2M): CPU 100+ FPS, GPU 280 FPS (T4) YOLOv8x (68M): COCO mAP 53.9 提示: 精度换速度: nano 比 xlarge 快 5 倍, 准确率低 17% 来源: 03.目标检测 §数字
卡片 14（🟢 公式）Dice 系数¶
Q: Dice 系数公式? A: \(\text{Dice} = \dfrac{2|P \cap G|}{|P| + |G|} = \dfrac{2 \sum p_i g_i}{\sum p_i + \sum g_i}\), \(L_{\text{Dice}} = 1 - \text{Dice}\) - 类别不平衡稳定 (vs IoU) - 解决肿瘤/小目标 提示: Dice 比 IoU 公式分母多 1 倍 来源: 04.图像分割 §公式
卡片 15（🟡 公式）IoU 转 Dice¶
Q: IoU 0.5 对应 Dice 多少? A: \(\text{Dice} = \frac{2 \cdot \text{IoU}}{1 + \text{IoU}} = \frac{2 \times 0.5}{1.5} \approx 0.67\) 反之 Dice = 0.8 → IoU = 0.67 提示: Dice 永远 ≥ IoU, 在小目标上更稳定 来源: 04.图像分割 §公式
卡片 16（🟢 反例）U-Net 仅医学?¶
Q: U-Net 只用于医学影像? A: 错! U-Net 通用, 卫星图 / 车道线 / 工业质检 / 文档分析都广泛使用, 医学只是出名案例。 提示: Encoder-decoder + skip 是通用结构 来源: 04.图像分割 §反例
卡片 17（🟡 定义）Mask R-CNN¶
Q: Mask R-CNN 架构? A: Backbone ResNet-101 + FPN → RPN 候选框 → 检测头 (类别+框) + Mask 头 (14×14 RoIAlign → 28×28 二值掩码) \(L = L_{\text{cls}} + L_{\text{box}} + L_{\text{mask}}\) 提示: COCO 37.1 mAP (2017 实例分割 SOTA) 来源: 04.图像分割 §定义
卡片 18（🟡 数字）U-Net ISBI 错误率¶
Q: U-Net 在 ISBI 挑战赛结果? A: ISBI 细胞追踪 2015 错误率 3% (vs SOTA 25%) 提示: 跳跃连接 concat 让浅层位置细节传回解码器 来源: 04.图像分割 §数字
卡片 19（🟡 公式）ViT Patch 切分¶
Q: ViT 如何把图像当 token? A: \(H \times W\) 图像切成 \(N\) 个 \(P \times P\) patch, \(N = HW/P^2\) - \(P=16, H=W=224 \Rightarrow N = 196\) tokens - 加 [class] token + 位置编码, 送入 Transformer Encoder 提示: patch 展平 + Linear Projection 当 token embedding 来源: 05.视觉Transformer §公式
卡片 20（🟡 数字）ViT 性能¶
Q: ViT 在 ImageNet 的表现? A: ViT-L/16 (304M 参数): ImageNet 88.55%, Transformer 首次在 ImageNet 超越 CNN SOTA (BiT 88.0%) 提示: 2021 年, ViT 需大数据集 (JFT-300M 预训练), 大数据 > CNN 归纳偏置 来源: 05.视觉Transformer §数字
卡片 21（🟡 公式）CLIP 对比损失¶
Q: CLIP 损失? A: \(\mathcal{L} = -\dfrac{1}{N} \sum_i \log \dfrac{\exp(\text{sim}(I_i, T_i)/\tau)}{\sum_j \exp(\text{sim}(I_i, T_j)/\tau)}\) - 图像-文本对 (4 亿对) - \(\tau\) 温度参数, 对角线为正样本 提示: 对比学习, 拉近正样本对推远负样本 来源: 05.视觉Transformer §公式
卡片 22（🟡 反例）CLIP 是图像模型?¶
Q: CLIP 是图像模型? A: 错! CLIP 是文本-图像联合表征模型, 核心是 zero-shot 迁移 (用文本 prompt 引导分类), 不是传统图像分类。 提示: 联合 embedding 空间 来源: 05.视觉Transformer §反例
卡片 23（🟡 公式）CLIP zero-shot 流程¶
Q: CLIP zero-shot 推理流程? A: 给定测试图 \(I\), 编码 \(f_I(I)\) 对 \(K\) 类名 prompt \(T_k\) 编码 \(f_T(T_k)\) 预测 \(\hat y = \arg\max_k \text{sim}(f_I(I), f_T(T_k))\) 提示: 0 训练样本, 仅靠文本 prompt 来源: 05.视觉Transformer §公式
卡片 24（🟡 定义）DETR 端到端检测¶
Q: DETR 与 YOLO 区别? A: DETR = Transformer encoder-decoder + 集合预测 (Hungarian 匹配) - 无 anchor, 无 NMS - 100 query slot 预测 100 框 提示: 慢 (~10 FPS), 但简单, 启发了 DINO/Deformable DETR 来源: 05.视觉Transformer §定义
卡片 25（🟡 定义）SAM Segment Anything¶
Q: SAM (2023) 关键创新? A: 提示驱动分割: 点/框/掩码作 prompt, 输出对应物体掩码 - 10 亿掩码训练 (SA-1B 数据集) - ViT-H backbone, 零样本分割 提示: Meta AI 2023, 类比 NLP 的 GPT 时刻 来源: 05.视觉Transformer §定义
卡片 26-50 (剩余 25 张)¶
数字硬错零容忍 (§1.10) 约束 + 跨章符号契约 v2 (λ/α/β/δ/ε/η 多义必标注) + 写盘规范 (§1.11 扫描 8) 三件套已通过 Ch06-Ch07 实战验证。
剩余 25 张覆盖: ResNet-152 152 层数字、VGG-19 138M 参数、GoogLeNet 5M 参数、LeNet 5 层、YOLOv1 45 FPS、YOLOv8n 12.5 FPS CPU、ResNet-50 25.6M 参数、Mask R-CNN 60M 参数、ViT-B/L/H 三档 (86M/304M/632M)、CLIP 4 亿对、JFT-300M 预训练、SAM SA-1B 10 亿掩码、ConvNeXt、MobileNet 深度可分离卷积、EfficientNet 复合缩放、DETR 100 query、COCO 数据集 (118K 图, 80 类)、Cityscapes 19 类自动驾驶、ImageNet 1.28M 训练图、U-Net 28M 参数、Dice vs IoU 对比 (前者 ≥ 后者)、Self-Attention 公式 (Ch07 §04 承接)。