Janus)¶

口播时长: 约 13 分钟｜建议语速: 中速, 公式处停两拍｜字数: 约 2900 字

承 Ch10 §04 跨模态生成 / SD → Ch10 §05 统一多模态架构 → Ch11 (下游章节预告)

导语 (约 80 秒)¶

2024 年 5 月, OpenAI 春季发布会, GPT-4o 实时演示。

演示 1: 给 GPT-4o 看一张意大利菜单, 它当场用法语、西班牙语等多语种翻译, 还能解释每道菜的食材。

演示 2: 两个 GPT-4o 手机对话, 一个说英语, 一个说中文, 翻译还能保持说话节奏、情绪、咳嗽声。

演示 3: GPT-4o 实时唱歌, 笑声、口哨、停顿都自然。

这些能力的共同特征: 一个模型同时处理语音、文字、图像, 延迟 < 300ms, 还能流式生成。这就是统一多模态架构 (Unified Multimodal Architecture)。

这一节讲 4 件事: ① 为什么需要统一架构; ② GPT-4o / Gemini 实时原理; ③ Show-o / Janus 派统一 token 化路径; ④ 主要挑战和未来。听 13 分钟。

一 · 为什么需要统一架构 (约 3 分钟)¶

回顾本节前 4 节, 每个能力各有解决方案: - §01 表征对齐 → CLIP 双塔 - §02 视觉理解 → LLaVA (投影 + LLM) - §03 视觉分词 → VQ-VAE (离散化) - §04 跨模态生成 → SD (扩散 + 文本注入)

四套方案有不同架构、不同训练目标、不同部署方式。要让一个AI 系统做到: - 看图 (理解 + 生成) - 听音 (理解 + 实时回复) - 读文 (理解 + 推理) - 写诗 / 写代码 (生成) - 多语种, 多模态, 多任务

不可能 4 个独立模型协作——因为延迟、上下文共享、KV cache、训练目标都不连贯。统一架构把"多模态理解 + 生成"压进一个 transformer。

二 · GPT-4o: 实时全模态 (约 4 分钟)¶

2.1 核心改进¶

OpenAI 2024 年 5 月发布的 GPT-4o: - 单一 transformer 处理所有模态 (audio + text + image + video) - 平均响应延迟: 320 ms (人类对话节奏 200-500 ms) - 跨模态 KV cache: 共享减少重复计算 - streaming 音频输出: 边录制边出 audio token

2.2 关键工程¶

音频 token 化: - 16 kHz 波形 → HuBERT-style encoder → 离散 token (类似 VQ-VAE 思路) - 流式处理, 每几十毫秒出一批 token

视觉 token 化: - 类似 LLaVA, 视觉编码 → 投影 → LLM 输入

统一 token 表征: - 所有模态都先转成统一 token 序列 - 单一 transformer 处理 (类似 GPT 处理文本) - 输出 token 再各自解码为对应模态

2.3 性能亮点¶

实时语音对话, 还能模拟情绪(开心、严肃)
多语种混合 (中英, 法西, 日韩)
实时打断 (你打断它说话, 它能及时停下来, 不是傻等)
看图同时实时评论
多模态推理 (MMMU) ≈ 69%, 比 GPT-4V 略高

三 · Gemini 1.5: 超长上下文 (约 2.5 分钟)¶

Google DeepMind 2024 年的 Gemini 1.5:

上下文窗口: 1M token (1 千万字 ≈ 50 万行代码 ≈ 数十个视频帧)
多模态交错: 文本、图像、音频、视频可在同一窗口交替
MoE 架构: 部分参数激活, 推理延迟低
多档平衡: 1.5 Pro (强) / 1.5 Flash (快) / 1.5 Nano (边缘)

杀手应用: 一本书一次性塞进 prompt 问答, 一部电影逐帧分析, 一段代码库整体审视——这些 GPT-4o 现在还做不到。

四 · Show-o / Janus: 另一条统一路径 (约 3 分钟)¶

GPT-4o 是统一 transformer, 但输入模态不同 token 化。Show-o 和 Janus 走另一条路:所有模态 token 化后统一处理。

4.1 Show-o (字节 + 浙大, NeurIPS 2024)¶

统一 token: 文本 + 视觉 同一套离散 token 化
混合目标训练:
文本部分: 自回归 (类 GPT 文字预测)
视觉部分: 离散扩散 (类 VQ-VAE + diffusion)
一个 transformer 同时处理, 不分模态子模块

优势: 工程极简, 与 LLM 范式相似。挑战: 视觉 token 化质量仍待提升。

4.2 Janus / JanusFlow (DeepSeek, 2024)¶

痛点: 之前 VLM 用同一个 ViT 给理解 (CLIP) + 生成 (VAE encoder), 但两个任务需要的特征不同——理解要语义, 生成要细节。Janus 解耦编码器: - 视觉理解: SigLIP 编码 → LLM 用 - 视觉生成: 变分 / 扩散编码 → 生成器用 - 同一 transformer 处理两种表征 - 各自专精, 性能优于单一编码

五 · 关键挑战 (约 2 分钟)¶

虽然统一架构看上去很美, 仍有 4 个挑战:

实时性: 视频 24 fps, 音频 16 kHz——每秒几千 token 必须实时处理
KV cache 共享: 各模态的 cache 怎么调度, 大模型如何在多模态间分配注意力
幻觉: 多模态幻觉率 (MMHal) 仍 7-15%, 不容忽视
训练数据配比: 各模态数据怎么采样, 多模态的 RLHF 怎么训练

未来方向: - LLM 原生多模态 (Gemini 1.5 类) - 视觉自回归 + LLM 统一 (Show-o 类) - 多模态 RLHF + 安全 (RLHF-V, LLaVA-RLHF) - 实时小型化 (Phone-scale, edge inference)

跨章衔接 (60 秒)¶

Ch10 用 5 节讲完了多模态。从 §01 的"对齐" (CLIP)、§02 的"理解" (VLM)、§03 的"分词" (VQ-VAE)、§04 的"生成" (SD)、§05 的"统一" (GPT-4o), 把 Ch06 的 ViT、Ch07 的 Transformer、Ch08 的视觉应用、Ch09 的音频应用统一在一个框架下。

Ch11 自主系统就要把这个统一架构用在机器人身上——VLM 升级为 VLA (Vision-Language-Action), "看图 + 听指令 + 动手操作"。把 GPT-4o 类智能装进机器人, 是当下最热的研究方向。

讲解稿 · 第 10 章 第 05 节 · 统一多模态架构 (GPT-4o / Gemini / Show-o / Janus)¶