Ch18 ML 系统设计 · 闪卡 (Anki 导出)¶

50 张卡,涵盖 5 节核心。Anki Deck: Ch18 ML 系统设计

Section A: 系统设计基础¶

Card 1¶

Front: CAP 三要素? Back: Consistency / Availability / Partition tolerance。分布式系统三选二。

Card 2¶

Front: CP 系统举例? Back: ZooKeeper, HBase, etcd。强一致, 牺牲可用。

Card 3¶

Front: AP 系统举例? Back: Cassandra, DynamoDB, S3 (eventual consistency)。

Card 4¶

Front: 水平扩展 vs 垂直? Back: 水平 = 加机器, 垂直 = 加配置。前者优, 后者有限。

Card 5¶

Front: 一致性模型? Back: 强一致 / 弱一致 / 最终一致 / 因果一致。

Card 6¶

Front: 一致性哈希用途? Back: 分布式缓存 / 存储, 增删节点只影响邻居。

Card 7¶

Front: SLA vs SLO? Back: SLA = 服务等级协议 (合同); SLO = 服务等级目标 (内部)。

Section B: 云计算¶

Card 8¶

Front: IaaS / PaaS / SaaS 区别? Back: IaaS = 基础设施; PaaS = 平台; SaaS = 软件。

Card 9¶

Front: AWS 主要服务? Back: EC2 (计算), S3 (存储), RDS (DB), Lambda (函数), K8s (EKS)。

Card 10¶

Front: GCP TPU 服务? Back: Cloud TPU v4 / v5e, 用于大模型训练。

Section C: 大规模基础设施¶

Card 11¶

Front: Kafka 三大角色? Back: Producer / Broker / Consumer。

Card 12¶

Front: Kafka vs RabbitMQ? Back: Kafka 日志流 (高吞吐), RabbitMQ 队列 (低延迟)。

Card 13¶

Front: Spark 优势 vs MapReduce? Back: Spark 内存迭代, RDD/Dataset, 快 100×。

Card 14¶

Front: Lambda 架构? Back: 批 (历史) + 流 (实时) 双链路, 合并结果。

Card 15¶

Front: Kappa 架构? Back: 纯流 (Kafka + Flink), 简单, 历史靠重放。

Card 16¶

Front: Iceberg / Delta / Hudi 用途? Back: 数据湖表格式, schema 演进 + 时间旅行。

Section D: ML 系统¶

Card 17¶

Front: Feature Store 用途? Back: 统一特征管理, 在线 + 离线一致性。

Card 18¶

Front: Feast / Tecton / Hopsworks 区别? Back: Feast 开源主流; Tecton 商业; Hopsworks 学术友好。

Card 19¶

Front: training-serving skew? Back: 训练 / 推理特征不一致, 模型上线精度下降。

Card 20¶

Front: 数据漂移三种? Back: Covariate / Prior / Concept shift。

Card 21¶

Front: PSI 公式? Back: \(\sum (P_{\text{new}} - P_{\text{ref}}) \ln(P_{\text{new}} / P_{\text{ref}})\)。

Card 22¶

Front: 模型 registry 工具? Back: MLflow / DVC / W&B。

Card 23¶

Front: A/B test 统计显著性? Back: p < 0.05, 95% 置信区间, 效应量 (Cohen's d)。

Card 24¶

Front: 影子流量? Back: 新模型跑同一流量, 但不影响用户, 用于验证。

Card 25¶

Front: 回流闭环? Back: 在线日志 → 训练数据, 自动迭代。

Section E: 设计案例¶

Card 26¶

Front: Netflix Eureka / Zuul? Back: 服务发现 / API 网关。

Card 27¶

Front: DoorDash 派单核心? Back: 实时 ML 决策, ETA 预测, 物流优化。

Card 28¶

Front: Uber Michelangelo? Back: 端到端 ML 平台, 训练 + 部署 + 监控。

Card 29¶

Front: Airbnb ML Platform 关键? Back: 特征工程 + A/B test + 监控一体化。

Card 30¶

Front: Pinterest 推荐? Back: PinSage (GraphSAGE 工业版), 亿级用户。

Card 31¶

Front: TikTok 推荐特色? Back: 多模态 + 实时反馈 + 兴趣演化。

Card 32¶

Front: Uber ETA 预测? Back: ML + 实时路况, p99 延迟 < 1s。

Section F: 跨章¶

Card 33¶

Front: Ch13 §03 OS 与 Ch18 §01? Back: Ch13 教原理, Ch18 教分布式系统设计。

Card 34¶

Front: Ch15 §05 K8s 与 Ch18 §03? Back: K8s 是 §03 基础设施核心组件。

Card 35¶

Front: Ch17 §03 vLLM 与 Ch18 §04? Back: vLLM 是 ML 系统的在线推理组件。

Card 36¶

Front: Ch12 §03 GNN 与 Ch18 §05? Back: GNN 用于推荐系统 (Pinterest)。

Card 37¶

Front: Ch05 §04 概率与 Ch18 §04 A/B test? Back: A/B test 用假设检验 (p-value)。

Section G: 现实应用¶

Card 38¶

Front: ML 平台组成? Back: 数据 + 特征 + 训练 + 部署 + 监控 + 反馈。

Card 39¶

Front: 实时推荐栈? Back: Kafka + Flink + Redis + vLLM。

Card 40¶

Front: 离线训练栈? Back: S3 + Spark + PyTorch + MLflow。

Section H: 工程¶

Card 41¶

Front: Kafka 部署命令? Back: docker run -p 9092:9092 apache/kafka。

Card 42¶

Front: Spark 部署命令? Back: docker run bitnami/spark。

Card 43¶

Front: Feast 命令? Back: feast apply, feast materialize-incremental。

Card 44¶

Front: A/B test 流量分配? Back: nginx / Envoy 路由 + UUID hash。

Card 45¶

Front: PSI 阈值? Back: < 0.1 轻微, 0.1-0.2 中等, > 0.2 严重漂移。

Section I: 错误避免¶

Card 46¶

Front: Feature Store schema 不一致? Back: 训练 / 服务结果差很多, 调试难。

Card 47¶

Front: Kafka 数据丢失? Back: acks=all + 副本 + 监控。

Card 48¶

Front: A/B test 流量偏斜? Back: 哈希分流, 避免非随机。

Card 49¶

Front: 数据漂移未检测? Back: 模型精度下降, 需 PSI / KS 监控。

Card 50¶

Front: 一句话总结 Ch18。 Back: ML 系统设计 = 把 AI 模型 + 数据 + 算力组合成生产系统。覆盖 §01 系统设计 (CAP) + §02 云计算 + §03 基础设施 (Kafka/Spark/湖) + §04 ML 系统 (Feature Store/Registry) + §05 案例 (Netflix/DoorDash)。是 AI 工程师的"系统设计"课。