第18章 §02 · 云计算 · 讲解稿¶
承接: Ch18 §01 系统设计 → §02 云 篇幅: ~4000 字
一 · 一句话总览¶
云 = AI 时代的"水电煤"。AWS / GCP / Azure 三足鼎立, 加上 Lambda / CoreWeave / Together 等 GPU 专业云, 训练千亿模型已成常态。
二 · 三大云厂商¶
2.1 AWS (33% 份额)¶
AI 服务: - Bedrock: 多模型 (Claude / Llama / Mistral / Stability / Cohere) - SageMaker: ML 全套 (训练 + 部署 + Feature Store) - SageMaker JumpStart: 预训练模型 - Trainium2 (自研 NPU): 性价比 30-40% 优于 H100 - Inferentia2: 推理 NPU
GPU 实例: - p5.48xlarge: 8 × H100 - p4d.24xlarge: 8 × A100 - g5.xlarge: 1 × A10G
2.2 GCP (10%)¶
AI 服务: - Vertex AI: ML 一站式 - Model Garden: 模型市场 (Gemini / Claude / Llama) - BigQuery ML: SQL 内 ML - TPU v5e / v5p: 自研 AI 芯片
特色: - Gemini API: 原生多模态 - AI Studio: 免费试用
2.3 Azure (24%)¶
AI 服务: - Azure OpenAI: GPT-4 / o1 / o5 独家 - Azure ML: 企业 ML - Azure AI Foundry: 模型 + Agent 平台
特色: - OpenAI 独家合作伙伴 - 企业合规最强 (FedRAMP / HIPAA)
三 · GPU 实例对比¶
3.1 主流 GPU 实例¶
| 实例 | 云 | GPU | 显存 | 价格 ($/hr) |
|---|---|---|---|---|
| p5.48xlarge | AWS | 8 × H100 | 80 GB | 98.32 |
| a3-highgpu-8g | GCP | 8 × H100 | 80 GB | 88-100 |
| ND H100 v5 | Azure | 8 × H100 | 80 GB | 98.32 |
| p4d.24xlarge | AWS | 8 × A100 | 40 GB | 32.77 |
| g5.12xlarge | AWS | 4 × A10G | 24 GB | 5.67 |
3.2 训练 vs 推理选型¶
- 训练: H100 / A100 (大显存)
- 推理: A10G / L4 / T4 (性价比)
- 特殊: Trainium2 / TPU (成本敏感)
四 · GPU 专业云¶
4.1 CoreWeave¶
- 特色: NVIDIA H100 集群最大提供商
- 24/7 客服 + 快速供给
- 用于: Inflection AI / Cohere / Mistral
4.2 Lambda Labs¶
- 特色: 按需 / 月付 GPU
- 价格: 8 × H100 $3.49/hr (Spot)
- 适合: 学术 / 中小公司
4.3 Together AI¶
- 特色: 开源模型 API + GPU 推理
- Llama / Mistral / DeepSeek 等
- 价格: $0.2-0.9 / 1M tokens
4.4 RunPod / Vast.ai¶
- 特色: 个人 GPU 出租
- 价格: A100 $1.5-2/hr
- 适合: 预算敏感的开发者
4.5 中国云¶
- 阿里云 PAI: 国内最大
- 腾讯云 TI: 行业 AI
- 百度智能云: 文心系列
- 华为云: ModelArts + 昇腾 NPU
五 · 存储服务¶
5.1 对象存储¶
| 服务 | 云 | 特点 |
|---|---|---|
| S3 | AWS | 行业标准 |
| GCS | GCP | 与 BigQuery 集成 |
| Blob | Azure | 与 Azure 服务集成 |
适用: 训练数据 / 模型权重 / 日志 / 静态资源
5.2 块存储¶
| 服务 | 云 | 用途 |
|---|---|---|
| EBS | AWS | 数据库 / 高 IO |
| Persistent Disk | GCP | 数据库 |
| Disk Storage | Azure | 数据库 |
适用: 需要高 IO 的数据库 / checkpoint
5.3 文件存储¶
| 服务 | 云 | 用途 |
|---|---|---|
| EFS | AWS | 共享文件系统 |
| Filestore | GCP | HPC |
| Azure Files | Azure | SMB/NFS |
适用: 多机共享训练数据
5.4 向量数据库¶
- Pinecone: 托管向量
- Weaviate Cloud: 开源 + 云
- Milvus: 自托管 + 阿里云托管
- Qdrant: 开源 + 云
六 · AI 专用芯片¶
6.1 AWS Trainium2 / Inferentia2¶
- Trainium2: 训练专用, 1 PFLOPS BF16
- 性价比: 比 H100 高 30-40%
- Inferentia2: 推理专用
6.2 Google TPU¶
- v5e / v5p / v6 (Trillium)
- Pod: 9216 chips
- 仅 GCP 可用
6.3 国产芯片¶
- 华为昇腾 910: 256 TFLOPS FP16
- 寒武纪思元 590: 中国云常见
- 燧原邃思 2.0: 国产训练
- 摩尔线程 MTT S4000: 国产 GPU
七 · 云架构最佳实践¶
7.1 训练 Pipeline¶
7.2 推理 Pipeline¶
7.3 成本优化¶
- Spot 实例: 节省 50-70%
- 预留实例: 1-3 年合约, 节省 30-60%
- Savings Plans: AWS 灵活折扣
- Auto Scaling: 低峰缩容
八 · 一句话总结¶
云 = AI 的"操作系统"。三大公有云 + GPU 专业云 + 自研 NPU 构成多层级生态。Trainium2 + TPU + 国产芯片 打破 NVIDIA 垄断, 5 年内云原生 + 多云 + 边缘 = 新标准。