第 01 章 · 向量 —— 知识图谱 (Knowledge Mindmap)¶

一句话总结: 向量是 AI 里最基础的数据容器——从"能相加缩放的乐园居民"到"能被基坐标化、被对偶尺读取的几何对象"。本章用五节把线性代数的地基打完: 空间 → 性质 → 度量 → 运算 → 基与对偶, 为后续 PCA、kNN、Embedding、Attention 做前置准备。

难度色标 (Legend): 🟢 入门 (L1-L2) · 🟡 进阶 (L3-L4) · 🔴 高阶 (L5-L6) · ⭐ 主干外可跳过

Mermaid Mindmap¶

🌳 Ch1 章 知识图谱
├─ 01 向量空间 Vector Space
│  └─ 定义 Definition 🟢
│  │  └─ 乐园比喻 Playground 🟢
│  │  └─ 能相加 能缩放 不逃出 🟢
│  │  └─ Closure 封闭性 🟢
│  └─ 核心运算 Operations
│  │  └─ 向量加法 Vector Addition 🟢
│  │  │  └─ a+b = (a_i+b_i) 🟢
│  │  │  └─ 平行四边形法则 🟢
│  │  └─ 标量乘法 Scalar Multiplication 🟢
│  │  │  └─ cv = (cv_i) 🟢
│  │  │  └─ 拉伸 反向 缩短 🟢
│  └─ %% FIX: P1-1 十条公理逐条配大白话
│  └─ 十条公理 10 Axioms 🟡
│  │  └─ 加法封闭 Closure +<br/>两向量加起来还得留在空间里 🟢
│  │  └─ 标量封闭 Closure ·<br/>乘个数也不能跑出去 🟢
│  │  └─ 交换律 Commutativity<br/>a+b 和 b+a 结果一样 🟢
│  │  └─ 结合律 Associativity<br/>(a+b)+c 和 a+(b+c) 一样 🟢
│  │  └─ 零向量 Zero Vector 0<br/>存在一个 0 加谁都不变 🟢
│  │  └─ 加法逆元 Inverse -v<br/>每个 v 有个 -v 加起来为 0 🟢
│  │  └─ 分配律 c(a+b)=ca+cb<br/>数乘拆到括号里 🟢
│  │  └─ 分配律 (c+d)v=cv+dv<br/>系数拆到向量上 🟢
│  │  └─ 标乘结合 (cd)v = c(dv)<br/>连乘两个数顺序无关 🟢
│  │  └─ 单位元 1·v = v<br/>乘 1 不改动向量 🟢
│  └─ 维度 Dimension 🟢
│  │  └─ 独立方向个数 🟢
│  │  └─ R^n 需 n 个坐标 🟢
│  └─ 子空间 Subspace 🟡
│  │  └─ 小乐园 嵌套 🟢
│  │  └─ 必须过原点 🟢
│  │  └─ 直线 1D 平面 2D 🟢
│  │  └─ PCA 找低维子空间 🟡
│  └─ 实例 Examples 🟢
│  │  └─ R^n 欧氏空间 🟢
│  │  └─ 灰度图 28x28 → R^784 🟢
│  │  └─ 音频 44.1kHz → R^44100 🟢
│  │  └─ 多项式空间 🟡
│  └─ 反例 Non-example 🟡
│  │  └─ Z 整数不构成向量空间 🟡
│  │  └─ 0.5×3=1.5 逃出去 🟡
├─ 02 向量性质 Properties
│  └─ 模长 Magnitude 🟢
│  │  └─ ||a|| = sqrt(Σa_i²) 🟢
│  │  └─ 勾股定理推广 🟢
│  └─ 方向 Direction 🟢
│  │  └─ 原点到目标位移 🟢
│  │  └─ 位置无关 🟢
│  └─ 相等 Equality 🟢
│  │  └─ 分量一一相同 🟢
│  └─ 平行 Parallel 🟢
│  │  └─ a = k·b, k≠0 🟢
│  │  └─ 同向 k>0 反向 k<0 🟢
│  │  └─ 无新方向信息 🟢
│  └─ 正交 Orthogonal 🟢
│  │  └─ 夹角 90° 🟢
│  │  └─ 独立信息 ML 理想 🟡
│  └─ 夹角 Angle θ 🟢
│  │  └─ 0° 平行同向 🟢
│  │  └─ 90° 正交 🟢
│  │  └─ 180° 反向 🟢
│  └─ 线性相关 Dependent 🟡
│  │  └─ c = 2a+3b 冗余 🟡
│  │  └─ 含零向量必相关 🟡
│  └─ 线性无关 Independent 🟡
│  │  └─ 每个贡献新方向 🟡
│  │  └─ 对应"维度"直觉 🟡
│  └─ 单位向量 Unit Vector 🟢
│  │  └─ ||v||=1 纯方向 🟢
│  │  └─ 归一化 Normalisation 🟢
│  │  └─ â = a/||a|| 🟢
│  │  └─ 标准基 i j k 🟢
│  └─ 稀疏 vs 稠密 🟢
│  │  └─ Sparse 大多分量为 0 🟢
│  │  └─ Dense 大多非零 🟢
│  │  └─ 稀疏节省存储计算 🟢
├─ 03 范数与度量 Norm Metric
│  └─ 范数 Norm 🟢
│  │  └─ 衡量单个向量大小 🟢
│  │  └─ 三条公理 Axioms 🟡
│  │  │  └─ 非负性 Non-negativity 🟢
│  │  │  └─ 齐次性 Scaling 🟢
│  │  │  └─ 三角不等式 Triangle 🟡
│  └─ Lp 范数族 🟢
│  │  └─ L1 曼哈顿 Manhattan 🟢
│  │  │  └─ Σ|v_i| 街区距离 🟢
│  │  │  └─ 分量平权 🟢
│  │  └─ L2 欧几里得 Euclidean 🟢
│  │  │  └─ sqrt Σv_i² 直线距离 🟢
│  │  │  └─ 大分量主导 🟡
│  │  └─ L∞ 最大 Max 🟢
│  │  │  └─ max|v_i| 只看极值 🟢
│  │  └─ 广义 Lp 🟡
│  │  │  └─ (Σ|v_i|^p)^(1/p) 🟡
│  └─ 度量 Metric 🟡
│  │  └─ 衡量两向量距离 🟢
│  │  └─ 四条公理 Axioms 🟡
│  │  │  └─ 非负性 🟢
│  │  │  └─ 同一性 Identity 🟡
│  │  │  └─ 对称性 Symmetry 🟢
│  │  │  └─ 三角不等式 🟡
│  └─ 距离实例 Distances 🟢
│  │  └─ 欧氏距离 Euclidean d 🟢
│  │  └─ 曼哈顿距离 Manhattan d 🟢
│  │  └─ 余弦距离 Cosine d 🟡
│  │  └─ 汉明距离 Hamming 🟡
│  │  │  └─ 度量非范数导出 🔴
│  └─ 范数-度量关系 🟡
│  │  └─ d(u,v) = ||u-v|| 🟢
│  │  └─ 范数→度量 但反之不然 🟡
│  └─ L1 正则化诱导稀疏 🟡
│  │  └─ 不是"范数天生稀疏" 🟡
│  │  └─ 优化目标里作为惩罚项才使解落到坐标轴 🟡
│  └─ ML 应用 🟢
│  │  └─ kNN 距离决定近邻 🟢
│  │  └─ 聚类 Clustering 🟡
│  │  └─ 检索 Retrieval 🟡
├─ 04 向量积 Vector Products
│  └─ 内积 Inner Product 🟡
│  │  └─ 通用蓝图 <u,v> → 标量 🟡
│  │  └─ 实数域默认 复数域另标 🔴
│  │  └─ 三条公理 Axioms 🟡
│  │  │  └─ 正定性 Positive Definite 🟡
│  │  │  └─ 对称性 Symmetry 🟡
│  │  │  └─ 线性性 Linearity 🟡
│  └─ 点积 Dot Product 🟢
│  │  └─ 代数 a·b = Σa_i·b_i 🟢
│  │  └─ 几何 ||a||·||b||·cosθ 🟢
│  │  └─ a·a = ||a||² 🟢
│  │  └─ 正交检验 = 0 🟢
│  └─ 投影 Projection 🟡
│  │  └─ proj_b(a) = (a·b/||b||²)·b 🟡
│  │  └─ 影子 光垂照 🟢
│  └─ 余弦相似度 Cosine Similarity 🟢
│  │  └─ cosθ = a·b/(||a||·||b||) 🟢
│  │  └─ 范围  🟢
│  │  └─ 忽略长度 只看方向 🟢
│  │  └─ Embedding 比较 🟡
│  └─ 叉积 Cross Product 🟡
│  │  └─ a×b 输出向量 🟡
│  │  └─ 仅 3D 定义 🟡
│  │  └─ 同垂直于 a b 🟡
│  │  └─ ||a×b|| = ||a||·||b||·sinθ 🟡
│  │  └─ 平行四边形面积 🟡
│  │  └─ 右手法则 Right-hand 🟡
│  │  └─ 反交换 a×b = -(b×a) 🟡
│  └─ 三重积 Triple Products 🔴
│  │  └─ 标量三重积 🔴
│  │  │  └─ a·(b×c) 平行六面体体积 🔴
│  │  │  └─ =0 → 共面 Coplanar 🔴
│  │  │  └─ 循环轮换不变 🔴
│  │  └─ 向量三重积 🔴
│  │  │  └─ a×(b×c) = (a·c)b - (a·b)c 🔴
│  │  │  └─ 落在 b c 平面 🔴
│  │  │  └─ 不结合律 🔴
│  └─ AI 应用 🟡
│  │  └─ Attention QK^T 用点积 🟡
│  │  └─ Embedding 相似度 🟢
│  │  └─ 几何推理 🟡
├─ 05 基与坐标 Basis
│  └─ 基 Basis 🟡
│  │  └─ 构造积木 Building Blocks 🟢
│  │  └─ 两条件 🟡
│  │  │  └─ 线性无关 Independent 🟡
│  │  │  └─ 张成空间 Spanning 🟡
│  │  └─ 向量数 = 维度 🟡
│  └─ 标准基 Standard Basis 🟢
│  │  └─ i=(1,0) j=(0,1) k=(0,0,1) 🟢
│  │  └─ 坐标即分量 🟢
│  └─ 坐标 Coordinates 🟢
│  │  └─ (3,2) = 3i + 2j 🟢
│  │  └─ 基下的权重 🟢
│  └─ %% FIX: P0-1 基变换约定与 §1.3 对齐
│  └─ 基变换 Change of Basis 🟡
│  │  └─ 矩阵 P 🟡
│  │  │  └─ P 的列 = 新基向量在旧基下的坐标 🟡
│  │  │  └─ 口诀: P 把新坐标搬回旧描述 🟡
│  │  └─ 坐标关系 🟡
│  │  │  └─ v_旧 = P · v_新 🟡
│  │  │  └─ v_新 = P⁻¹ · v_旧 🟡
│  │  └─ 相似变换 🔴
│  │  │  └─ 新矩阵 Ã = P⁻¹ A P 🔴
│  │  └─ 2×2 数字例 🟡
│  │  │  └─ 旧基 e1=(1,0) e2=(0,1) 🟡
│  │  │  └─ 新基 b1=(1,1) b2=(1,-1) 🟡
│  │  │  └─ P=,] 🟡
│  │  │  └─ v_旧=(2,0) → v_新=P⁻¹(2,0)=(1,1) 🟡
│  │  │  └─ 验证 P(1,1)=(2,0) ✓ 🟡
│  │  └─ 咖啡馆比喻 🟢
│  │  │  └─ 街道 vs 对角线 两套坐标 🟢
│  │  │  └─ 同一点 两种描述 🟢
│  └─ ML 应用 🟡
│  │  └─ PCA 主成分作新基 🟡
│  │  └─ 特征变换 🟡
├─ %% FIX: P0-2 对偶空间整块下沉为 ⭐ 进阶
├─ ⭐ 06 对偶空间 Dual Space
│  └─ 对偶空间 V* 🔴
│  │  └─ 由所有线性泛函组成 🔴
│  │  └─ 与 V 同维 🔴
│  └─ 线性泛函 Linear Functional 🔴
│  │  └─ 向量 → 标量 的映射 🔴
│  │  └─ 诚实的尺子 🔴
│  │  └─ f(u+v)=f(u)+f(v) 🔴
│  │  └─ f(cv)=c·f(v) 🔴
│  └─ 对偶基 Dual Basis 🔴
│  │  └─ e_i*(e_j) = δ_ij 🔴
│  │  └─ Kronecker Delta 校准 🔴
│  │  └─ 坐标 = 对偶基读数 🔴
│  │  └─ P⁻¹ 的行 = 对偶基 🔴
│  └─ 正交陷阱 Orthonormal Trap 🔴
│  │  └─ 自己点积读坐标仅 orthonormal 成立 🔴
│  │  └─ 非正交基需用 P⁻¹ 行 🔴
│  └─ AI 联系 🔴
│  │  └─ Attention Query-Key 对偶视角 🔴
│  │  └─ 协变 vs 逆变 张量 🔴

学习路径建议 (Learning Roadmap)¶

主干路径 (7 天速通)¶

Day 1 · 01 向量空间 🟢 — 先建乐园直觉, 再回头看十条公理; 记住封闭性是灵魂
Day 2 · 02 向量性质 🟢 — 掌握模长/方向/正交/线性无关, 这是所有后续几何的原子
Day 3 · 03 范数与度量 🟢🟡 — 理解 L1/L2/L∞ 差异, 做一次 kNN 实验感受距离选择
Day 4 · 04 向量积 (点积) 🟢 — 吃透几何解释 a·b = ||a||·||b||·cosθ, 余弦相似度是 embedding 常用工具
Day 5 · 04 向量积 (叉积/三重积) 🟡🔴 — 面积/体积/共面, 几何直觉课
Day 6-7 · 05 基与坐标 + 基变换 🟡 — 咖啡馆比喻 + v_旧 = P v_新 的方向反复咀嚼; 为 PCA 铺路

进阶路径 (⭐ 可跳过, 面向研究/深造)¶

⭐ 06 对偶空间 🔴 — 线性泛函 / 对偶基 / P⁻¹ 的行几何意义 / 协变逆变直觉; 直接服务 Ch03 矩阵、张量代数、Attention 的严格推导

依赖关系¶

02 依赖 01: 讲长度/方向前必须先有空间
03 扩展 02: 范数是模长的推广
04 扩展 02: 点积/余弦是"夹角"概念的运算化
05 综合 01+02+04: 基需要线性无关 (02) + 张成 (01), 基变换建立在坐标 (05) 之上
⭐ 06 依赖 04+05: 对偶空间必须先懂点积 (04) 与基变换 (05)

分层策略¶

初学者只读: 01 全 + 02 全 + 03 到"L2/L1 差异" + 04 到"余弦相似度" → 已够写 embedding baseline
进阶补充: 04 叉积/三重积 (计算机图形/物理) + 05 基变换 (PCA 前置)
深造必读: ⭐ 06 对偶空间全部 → 服务 Ch03 矩阵、Attention 机制的严谨推导、张量代数

常见误区提醒¶

别把子空间当成任意平面 — 必须过原点
L1 vs L2 不是等价选择 — L2 会被极端值主导
L1 稀疏是"正则化诱导稀疏解", 不是"范数本身稀疏"
叉积只在 3D; 点积任意维
基变换 P 方向: P 的列 = 新基在旧基下的坐标, v_旧 = P v_新, v_新 = P⁻¹ v_旧; 相似变换 Ã = P⁻¹ A P
非正交基下, 不能用基向量自己点积读坐标, 必须用 P⁻¹ 的行

参考文件: 本节为知识结构梳理,源章节索引见仓库同级 zh/第05章 - 概率论/ 目录。