Ch09 音频与语音 · 考研/期末复习大纲
承接 Ch08 口诀开篇: "Ch08 给视觉应用 — 卷积=空间共享参数, IoU=交集/并集, ViT=Transformer 搬到图像. Ch09 给听觉应用 — 采样=奈奎斯特≥2f_max, MFCC=预加重→分帧→FFT→梅尔→对数→DCT, 鸡尾酒会=盲源分离."
跨章承接: Ch02 §02 矩阵分解 → Ch09 §05 NMF/ICA; Ch03 §03 卷积定理 → Ch09 §01 STFT/卷积定理; Ch04 §04 假设检验/EER → Ch09 §04 说话人验证; Ch05 §03 HMM/EM/Viterbi → Ch09 §02 GMM-HMM; Ch06 §03 卷积 + Ch07 §04 Transformer → Ch09 §02 Conformer; Ch08 §02 ResNet/SENet → Ch09 §04 ECAPA-TDNN; Ch10 多模态 → Ch09 §04 AST/音频-文本联合
一、考点分级速览 (🔴必考 14 / 🟡常考 10 / 🟢拓展 10 / ⭐选学 4, 共 38 考点)
| 考频 |
考点 |
说明 |
| 🔴必考 |
奈奎斯特采样定理 |
Ch09 §01 核心, \(f_s \geq 2 f_{\max}\) |
| 🔴必考 |
STFT 时频权衡与 Gabor 极限 |
\(\Delta t \cdot \Delta f \geq 1/(4\pi)\) |
| 🔴必考 |
MFCC 7 步流水线 |
预加重→分帧→加窗→FFT→梅尔→对数→DCT |
| 🔴必考 |
梅尔刻度与滤波器组 |
\(m = 2595 \log_{10}(1+f/700)\) |
| 🔴必考 |
CTC 空白合并与条件独立 |
ASR 对齐核心 |
| 🔴必考 |
RNN-Transducer 三组件 |
编码器+预测网络+联合网络 |
| 🔴必考 |
Whisper 多任务架构 |
编码-解码 Transformer, 680k 小时 |
| 🔴必考 |
WER/CER 评估公式 |
ASR 标准指标 |
| 🔴必考 |
Tacotron 2 自回归 + 位置敏感注意力 |
经典声学模型 |
| 🔴必考 |
FastSpeech 2 非自回归 + 时长预测器 |
提速 10-20x |
| 🔴必考 |
HiFi-GAN 多周期判别器 |
主流神经声码器 |
| 🔴必考 |
x-vector + ECAPA-TDNN 说话人嵌入 |
验证/识别 SOTA |
| 🔴必考 |
时频掩码 IRM/IBM |
分离核心操作 |
| 🔴必考 |
SI-SDR 分离评估 |
dB 单位 |
| 🟡常考 |
FFT 与 DFT 复杂度对比 |
\(O(N\log N)\) vs \(O(N^2)\) |
| 🟡常考 |
加窗主瓣 vs 旁瓣权衡 |
频谱分辨率 vs 泄漏 |
| 🟡常考 |
GMM-HMM 声学模型 |
经典范式 |
| 🟡常考 |
SpecAugment 时频掩码 |
ASR 标配增强 |
| 🟡常考 |
wav2vec 2.0 自监督预训练 |
InfoNCE 对比损失 |
| 🟡常考 |
AAM-Softmax 加性角度间隔 |
验证损失 |
| 🟡常考 |
流式 vs 离线 ASR 延迟 |
RTF、首字延迟 |
| 🟡常考 |
LM 融合: 浅融合/深融合/冷融合 |
ILME 减内部 LM |
| 🟡常考 |
VITS 端到端 VAE+Flow+GAN |
一体化 TTS |
| 🟡常考 |
Beamforming MVDR 闭式解 |
多麦克风降噪 |
| 🟢拓展 |
共振峰与基音谐波 |
频谱包络编码音素 |
| 🟢拓展 |
Viterbi/前向-后向算法 |
Ch05 已考, Ch09 应用 |
| 🟢拓展 |
z 变换极零点 |
滤波器分析 |
| 🟢拓展 |
NLMS 自适应滤波 |
回声消除 |
| 🟢拓展 |
L1/Itakura-Saito NMF 代价 |
分离变体 |
| 🟢拓展 |
DPRNN 双路 RNN |
长序列分离 |
| 🟢拓展 |
说话人分离 EEND/PIT |
排列不变训练 |
| 🟢拓展 |
AudioSet + AST 音频 Transformer |
音频事件检测 |
| 🟢拓展 |
音乐 MIR 色度图 |
MIDI 音级映射 |
| 🟢拓展 |
VAD 语音活动检测 |
GRU 二分类 |
| ⭐选学 |
Fast Conformer 降采样注意力 |
NVIDIA NeMo 骨干 |
| ⭐选学 |
VALL-E 编解码语言模型 TTS |
3 秒克隆 (考试不考) |
| ⭐选学 |
Neural Audio Codec (SoundStream/EnCodec) |
可跳 |
| ⭐选学 |
Conv-TasNet 时域分离 |
可跳 |
二、考点详解 (精选 14 必考)
🔴考点 1 · 奈奎斯特采样定理 (§01)
- 出处: §01 数字信号处理
- 公式: \(f_s \geq 2 f_{\max}\), 奈奎斯特频率 \(f_N = f_s/2\)
- 数字例: 16 kHz 采样, 奈奎斯特 8 kHz; 15 kHz 音混叠为 \(16-15=1\) kHz (车轮倒转效应)
- 典型题型: 算最高无混叠频率 (L2-L3 应用)
- 易错点: 信号包含 \(f_{\max}\) 时 \(f_s\) 必须严格 \(\geq 2 f_{\max}\), 不是 \(\geq f_{\max}\)
- 连接: Ch03 §01 测不准原理 → Ch09 §01 Gabor 极限
🔴考点 2 · STFT 时频表示与 Gabor 极限 (§01)
- 出处: §01 数字信号处理
- 公式: \(\text{STFT}\{x\}(m,k)=\sum_{n=0}^{N-1}x[n+mH]\cdot w[n]\cdot e^{-j2\pi kn/N}\), \(\Delta t\cdot\Delta f\geq 1/(4\pi)\)
- 数字例: 16 kHz 下帧长 25 ms (\(N=400\)), 帧移 10 ms (\(H=160\)), 1 秒出 98 帧
- 典型题型: 给定 \(f_s\) 与帧长算频率分辨率 (L3 应用)
- 易错点: 长帧频率分辨率高但时间分辨率差, 反之亦然 (海森堡测不准原理的工程版)
- 连接: Ch03 §01 测不准原理
🔴考点 3 · MFCC 流水线 (§01)
- 出处: §01 数字信号处理
- 公式: 7 步流水线: 预加重 \(y[n]=x[n]-\alpha x[n-1]\) (\(\alpha=0.97\)) → 分帧 (25 ms/10 ms) → 加汉明窗 → FFT → 梅尔滤波器组 (\(K=40\)-\(80\)) → 取对数 → DCT (取前 13 个)
- 数字例: 13 静态 + 13 delta + 13 delta-delta = 39 维最终特征
- 典型题型: 写出 MFCC 7 步与每步作用 (L2 理解)
- 易错点: 现代神经网络跳到第 6 步直接用对数梅尔, 不再做 DCT; MFCC 在低资源/经典场景仍用
- 连接: Ch01 §02 \(\ell_2\) 范数 → Ch09 §01 帧能量
🔴考点 4 · 梅尔刻度公式 (§01)
- 出处: §01 数字信号处理
- 公式: \(m = 2595 \log_{10}(1+f/700)\) Hz; 反函数 \(f = 700(10^{m/2595}-1)\)
- 数字例: \(m(1000)=1000\) (锚点), \(m(4000)\approx 2146\) (1 kHz→4 kHz 听感差 > 4 倍线性)
- 典型题型: 100 Hz 转梅尔 (≈ 150 mel), 反向求 Hz (L3 应用)
- 易错点: 梅尔是感知刻度不是物理刻度, "等价线性/对数"的说法掩盖非线性本质
- 连接: Ch08 §01 颜色/感知通道 → Ch09 §01 听觉感知
🔴考点 5 · CTC 空白与条件独立性 (§02)
- 出处: §02 自动语音识别
- 公式: \(P(\mathbf{y}|\mathbf{x})=\sum_{\pi\in\mathcal{B}^{-1}(\mathbf{y})}\prod_t p(\pi_t|\mathbf{x})\), 前向-后向 \(O(T\cdot|\mathbf{y}|)\)
- 数字例: "cat" 由对齐 "--cc-aa-t--" 坍缩得到, "-" 为空白
- 典型题型: 解释 CTC 为什么引入空白 + 怎么消除对齐歧义 (L4 分析)
- 易错点: CTC 假设输出条件独立, 不能学 "q" 后必跟 "u", 需外接 LM
- 连接: Ch05 §03 HMM 前向-后向 → Ch09 §02 CTC 前向-后向
🔴考点 6 · RNN-Transducer 三组件 (§02)
- 出处: §02 自动语音识别
- 公式: \(p(y|t,u)=\text{softmax}(W\cdot\tanh(W_\text{enc}\mathbf{h}^\text{enc}_t+W_\text{pred}\mathbf{h}^\text{pred}_u+b))\), 训练 \(O(TU)\)
- 数字例: Google Pixel 手机的流式 ASR 主干
- 典型题型: 对比 CTC 与 RNN-T 在流式场景下的取舍 (L4 分析)
- 易错点: RNN-T 不是简单 CTC + LM, 联合网络在二维网格上动态规划, 复杂度 \(O(TU)\) 不是 \(O(T)\)
- 连接: Ch05 §03 HMM → Ch09 §02 RNN-T (去掉条件独立)
🔴考点 7 · Whisper 多任务架构 (§02)
- 出处: §02 自动语音识别
- 公式: 编码-解码 Transformer, 80 通道对数梅尔输入, 字节级 BPE 解码, 680k 小时弱监督
- 数字例: Whisper large-v3 英语 Librispeech clean WER 约 1.8%
- 典型题型: Whisper 的强泛化来自数据规模还是架构创新 (L5 评价)
- 易错点: Whisper 不支持真正流式 (编码器看完整输入), 实时场景需 Distil-Whisper 或 Moonshine
- 连接: Ch07 §04 Transformer 编码-解码 → Ch09 §02 Whisper
🔴考点 8 · WER/CER 评估公式 (§02)
- 出处: §02 自动语音识别
- 公式: \(\text{WER}=(S+D+I)/N\), 插入过多可超 100%
- 数字例: 参考 100 词, 系统漏 3 词 + 错 2 词 + 多 1 词 → WER = 6/100 = 6%
- 典型题型: 给定对齐算 WER (L3 应用)
- 易错点: 中文 ASR 报 CER 不是 WER; WER 可超过 100% (大量插入); 5% 是干净朗读的"人类水平"
- 连接: Ch05 §05 编辑距离 → Ch09 §02 WER
🔴考点 9 · Tacotron 2 自回归 + 位置敏感注意力 (§03)
- 出处: §03 文本到语音与声音
- 公式: \(e_{i,j}=w^T\tanh(W_s s_{i-1}+W_h h_j+W_f f_{i,j}+b)\), \(f_{i,j}\) 由累计注意力卷积得到
- 数字例: Tacotron 2 输出 80 帧/秒梅尔, 5 秒语音要 400 步串行解码
- 典型题型: 解释位置敏感注意力如何防止跳词/重复 (L5 评价)
- 易错点: 位置敏感注意力不是"位置编码", 是"累计注意力卷积特征", 二者不是一回事
- 连接: Ch07 §04 Attention → Ch09 §03 位置敏感注意力
🔴考点 10 · FastSpeech 2 非自回归 + 时长预测器 (§03)
- 出处: §03 文本到语音与声音
- 公式: \(\hat{d}_i=\text{DurationPredictor}(h_i)\), 长度调节器按预测时长扩展
- 数字例: FastSpeech 2 推理比 Tacotron 2 快 10-20 倍
- 典型题型: 为什么非自回归能并行生成所有帧 (L3 应用)
- 易错点: 训练时用真值时长 (强制对齐), 推理用预测时长, 否则训练-推理不匹配; FastSpeech 2 砍了蒸馏但加了 \(F_0\) 与能量预测
- 连接: Ch06 §05 PPO 等可控 RL → Ch09 §03 FastSpeech 2 显式可控
🔴考点 11 · HiFi-GAN 多周期判别器 (§03)
- 出处: §03 文本到语音与声音
- 公式: \(\mathcal{L}_G=\mathcal{L}_\text{adv}+\lambda_\text{mel}\mathcal{L}_\text{mel}+\lambda_\text{fm}\mathcal{L}_\text{fm}\)
- 数字例: MPD 周期 2,3,5,7,11 (素数近似); 推理比 WaveNet 快 1000+ 倍
- 典型题型: 对比 WaveNet 与 HiFi-GAN 速度-音质权衡 (L4 分析)
- 易错点: 周期 2,3,5,7,11 不是任意选, 是接近素数以捕获不同基频的周期性
- 连接: Ch06 §06 GAN → Ch09 §03 HiFi-GAN
🔴考点 12 · x-vector + ECAPA-TDNN 嵌入 (§04)
- 出处: §04 说话人与音频分析
- 公式: TDNN 帧级 + 统计池化 \([\mu;\sigma]\) + 段级全连接; ECAPA 加 SE-Res2Net + 注意力池化
- 数字例: VoxCeleb1 EER: x-vector 约 3.1%, ECAPA-TDNN 约 0.87% (典型值)
- 典型题型: 解释 ECAPA 比 x-vector 提升的关键设计 (L4-L5 分析)
- 易错点: 统计池化不只是平均, 是 \([\mu;\sigma]\) 拼接, 携带二阶信息
- 连接: Ch08 §02 SENet → Ch09 §04 SE 块; Ch08 §02 ArcFace → Ch09 §04 AAM-Softmax
🔴考点 13 · 时频掩码 IRM (§05)
- 出处: §05 源分离与降噪
- 公式: \(\text{IRM}_c(t,f)=|S_c|^2/\sum_j|S_j|^2\), 应用 \(\hat{S}_c=M_c\cdot X\)
- 数字例: 源 c 主导格子 \(M=1\); 源被压制格子 \(M\approx 0\); SI-SDR 提升典型 +5 至 +12 dB
- 典型题型: 给定混合谱与真值谱算 IRM (L3 应用)
- 易错点: IRM 是软掩码, 平方比非平方比 (相位的实部 IRM 更复杂但效果相近)
- 连接: Ch05 §05 KL 散度 → Ch09 §05 NMF KL 代价
🔴考点 14 · SI-SDR 分离评估 (§05)
- 出处: §05 源分离与降噪
- 公式: \(\text{SI-SDR}=10\log_{10}(\|\alpha s\|^2/\|\alpha s-\hat s\|^2)\), \(\alpha=(s^\top\hat s)/\|s\|^2\) (投影)
- 数字例: 完全相等 \(\hat s = s\) → SI-SDR \(=+\infty\); 完全反相 \(\hat s = -s\) → SI-SDR \(=0\) dB
- 典型题型: 给定信号与估计算 SI-SDR (L3 应用, dB 单位必标)
- 易错点: SI-SDR 与 SDR 不同; SDR 不做尺度对齐, SI-SDR 先投影到参考再算; 单位是 dB
- 连接: Ch05 §01 \(E[\cdot]\) → Ch09 §05 投影系数 \(\alpha\)
三、易错点合集 (25 条)
| # |
症状 |
为何错 |
如何避坑 |
| 1 |
\(f_s = f_{\max}\) 就够 |
错! 必须是 \(f_s \geq 2 f_{\max}\) |
奈奎斯特 = 2 倍 |
| 2 |
混叠后可滤波恢复 |
错! 混叠不可逆 |
采样前抗混叠 |
| 3 |
MFCC 仍带相位信息 |
错! MFCC 取对数幅度, 丢相位 |
倒谱 = 谱的对数的谱 |
| 4 |
梅尔滤波器组线性分布 |
错! 梅尔域均匀, 频率域不等距 |
感知刻度 |
| 5 |
把 DCT 与 DFT 等同 |
不同! DCT 只用实余弦, 无复数 |
DCT 是 DFT 的实部特例 |
| 6 |
CTC 输出条件依赖 |
错! CTC 强制条件独立 |
RNN-T 解除此约束 |
| 7 |
RNN-T = CTC + LM |
错! RNN-T 联合网络二维网格 |
三组件联动 |
| 8 |
Whisper 完全流式 |
错! Whisper 编码器看完整输入 |
用 Distil-Whisper/Moonshine |
| 9 |
wav2vec 2.0 用真值对齐 |
错! 它是自监督, 无对齐 |
InfoNCE 对比损失 |
| 10 |
位置敏感 = 位置编码 |
错! 位置敏感 = 累计注意力卷积 |
名字相近, 机制不同 |
| 11 |
Tacotron 2 可并行解码 |
错! 帧间自回归, 串行 |
FastSpeech 2 并行 |
| 12 |
FastSpeech 2 不用真值时长 |
错! 训练时强制对齐抽真值 |
推理才预测 |
| 13 |
HiFi-GAN 周期 2,3,5,7,11 是任意选 |
错! 近似素数, 捕获不同基频 |
经验设计 |
| 14 |
HiFi-GAN 只有对抗损失 |
错! 三项损失: 对抗+梅尔+特征匹配 |
复合目标 |
| 15 |
x-vector 池化只取均值 |
错! 是 \([\mu;\sigma]\) 拼接 |
二阶信息 |
| 16 |
ECAPA-TDNN 改骨干 |
部分错! 也改了池化与损失 |
三处: SE+Res2Net+AttPool |
| 17 |
AAM-Softmax 间隔 m 用度数 |
错! m 是弧度, 0.2 rad ≈ 11.5° |
弧度不是度 |
| 18 |
IRM 必二值化 |
错! IRM 是 \([0,1]\) 软掩码 |
IBM 才二值 |
| 19 |
SI-SDR 单位 bit |
错! SI-SDR 单位 dB |
SI-SDR ≠ 信息论 |
| 20 |
SI-SDR = SDR |
错! SI-SDR 先投影, SDR 不投影 |
尺度对齐差异 |
| 21 |
Fast Conformer 改渐近复杂度 |
错! \(O(T^2/64)=O(T^2)\) |
仅常数加速 |
| 22 |
VITS = Tacotron + HiFi-GAN |
错! VITS 是 VAE+Flow+GAN 一体 |
三损失联合 |
| 23 |
EEND 支持变说话人数 |
部分错! 原始 EEND 固定, EEND-EDA 才变 |
吸引子编码器 |
| 24 |
鸡尾酒会单麦克风可解 |
错! 单麦克风欠定 |
多麦克风波束成形 |
| 25 |
Whisper 强因架构创新 |
错! 主因是 680k 小时数据规模 |
数据 > 架构 |
四、对比记忆表 (4 张)
表 1 · GMM-HMM vs DNN-HMM vs CTC vs RNN-T (ASR 演进)
| 维度 |
GMM-HMM |
DNN-HMM |
CTC |
RNN-T |
| 年代 |
1980s-2010 |
2012-2016 |
2006 起, 2016+ |
2012 起, 2018+ |
| 发射/声学 |
GMM 混合 |
DNN senone 后验 |
神经网络 + 空白 |
神经网络 + 预测网络 |
| 时序结构 |
HMM |
HMM |
条件独立 |
二维网格 DP |
| 解码 |
Viterbi |
Viterbi |
贪心/束搜索 |
束搜索 |
| 流式 |
可 |
可 |
可 (贪心) |
天然流式 |
| 相对 WER 下降 |
基线 |
~20-30% |
大幅领先 GMM |
与 CTC 相当或更好 |
| 缺点 |
特征手工 |
仍需 HMM |
不能建模输出依赖 |
联合训练复杂 |
表 2 · Whisper vs wav2vec 2.0 (ASR 范式)
| 维度 |
Whisper |
wav2vec 2.0 |
| 范式 |
监督多任务 |
自监督预训练 + 微调 |
| 训练数据 |
680k 小时弱监督 |
53k 小时无标注 + 10 分钟带标注 |
| 架构 |
编码-解码 Transformer |
CNN 编码器 + Transformer |
| 强项 |
跨域零样本泛化 |
低资源 (10 分钟) |
| 弱项 |
大模型, 不流式 |
微调需标注 |
| 输出 |
字节级 BPE token |
CTC 字符 |
| 多任务 |
转写+翻译+语种+时间戳 |
仅语音表征 |
表 3 · Tacotron vs FastSpeech vs VITS (TTS 演进)
| 维度 |
Tacotron 2 |
FastSpeech 2 |
VITS |
| 自回归 |
是 (帧间) |
否 (并行) |
否 |
| 声码器 |
外置 (WaveNet) |
外置 (HiFi-GAN) |
内置 (一体化) |
| 时长 |
隐式 (注意力) |
显式预测 |
显式预测 |
| 控制 |
难 (黑盒) |
易 (\(F_0\)/时长/能量可调) |
中 |
| 推理速度 |
1× |
10-20× Tacotron |
与 FastSpeech 相近 |
| 训练稳定性 |
注意力易崩 |
稳 |
中 (对抗训练) |
| 音质 |
优 |
优 |
优 |
表 4 · x-vector vs ECAPA-TDNN vs d-vector (说话人嵌入)
| 维度 |
d-vector |
x-vector |
ECAPA-TDNN |
| 骨干 |
DNN |
TDNN |
TDNN + SE + Res2Net |
| 池化 |
平均 |
统计 \([\mu;\sigma]\) |
注意力统计池化 |
| 损失 |
交叉熵 |
交叉熵 |
AAM-Softmax (m=0.2, s=30) |
| VoxCeleb1 EER |
~4.5% |
~3.1% |
~0.87% (典型) |
| 上下文建模 |
弱 |
TDNN 时延 |
多尺度 SE 通道加权 |
附表 · HiFi-GAN vs WaveNet vs WaveRNN vs WaveGlow (声码器)
| 维度 |
WaveNet |
WaveRNN |
WaveGlow |
HiFi-GAN |
| 范式 |
自回归 |
自回归 |
流 (Flow) |
GAN |
| 推理速度 (1 秒) |
~24000 步 |
单 GRU |
一次并行 |
一次并行 |
| 相对速度 |
1× |
10× |
100× |
1000× |
| 音质 |
优 |
优 |
良 |
优 |
| 训练 |
稳定 |
稳定 |
稳定 |
需小心 |
五、复习路径
3 天冲刺 (考前突击)
- Day 1: §01 采样/FFT/梅尔/MFCC 流水线 + §02 CTC/RNN-T/Whisper 三选一
- Day 2: §03 Tacotron 2/FastSpeech 2/HiFi-GAN + §04 x-vector/ECAPA-TDNN
- Day 3: §05 掩码/NMF/SI-SDR + 全章 25 易错 + 对比表 4 张
7 天扎实 (期末标准)
- Day 1: §01 采样+FFT+STFT+梅尔 (跑一遍 librosa.feature.melspectrogram)
- Day 2: §01 MFCC 全流程 + 手算一帧能量
- Day 3: §02 GMM-HMM/CTC/RNN-T + 跑通 torchaudio CTC loss
- Day 4: §02 Whisper/wav2vec 2.0 + Conformer 块结构
- Day 5: §03 Tacotron 2/FastSpeech 2/HiFi-GAN + 跑通小数据集 TTS
- Day 6: §04 x-vector/ECAPA + 跑通说话人验证 (VoxCeleb 玩具版)
- Day 7: §05 NMF/ICA + Conv-TasNet + 跨章总复习
14 天精通 (考研 + 深度)
- Day 1-2: §01 采样定理/加窗权衡/滤波器极零点 + z 变换
- Day 3-4: §02 GMM-HMM 全栈 (Baum-Welch + Viterbi) + WFST 解码
- Day 5-6: §02 CTC/RNN-T/LAS/Conformer 数学推导 + LM 融合四式 (浅/深/冷/ILME)
- Day 7-8: §03 Tacotron/FastSpeech/VITS 全家桶 + WaveNet/HiFi-GAN 声码器
- Day 9-10: §04 i-vector/d-vector/x-vector/ECAPA + 说话人分离 (AHC/EEND)
- Day 11-12: §05 ICA/NMF/Beamforming/MVDR + Conv-TasNet/SepFormer/DPRNN
- Day 13: §05 语音增强 + 回声消除 (LMS/NLMS) + 跨章桥接 (Ch02-Ch08)
- Day 14: 总复习 + 错题本 + 自测清单 10 问
六、自测清单 (10 问, L1-L5)
- (L1 记忆) 写出奈奎斯特采样定理公式, 并解释 15 kHz 音在 16 kHz 采样下混叠成多少 Hz。
- (L2 理解) STFT 在 16 kHz 下帧长 25 ms、帧移 10 ms, 1 秒音频出多少帧? 频率分辨率与时间分辨率如何权衡?
- (L3 应用) 写出 MFCC 7 步流水线, 标出哪一步从幅度谱到对数谱, 哪一步去相关得到倒谱。
- (L3 应用) 100 Hz 与 4000 Hz 分别转梅尔, 验证 1000 Hz 锚点公式 \(m = 2595 \log_{10}(1+f/700)\)。
- (L4 分析) 对比 CTC 与 RNN-T: 条件独立性、流式能力、联合网络结构三方面。
- (L4 分析) 解释为什么 Tacotron 2 推理慢, FastSpeech 2 为什么能并行生成所有梅尔帧。
- (L4 分析) HiFi-GAN 的 MPD 周期 2,3,5,7,11 为什么这样选? 与 MSD 各自抓什么?
- (L5 评价) 一学生说"CTC 就能解决 ASR 对齐, 不需要 RNN-T", 错在哪?
- (L5 评价) 一学生说"Whisper 强是因为 Transformer 编码-解码架构新颖", 错在哪? 用数据规模说明。
- (L5 综合) 设计一个会议录音说话人分离 + 转写系统: 选择何种 ASR 骨干 (CTC/RNN-T/Whisper) + 说话人嵌入 (x-vector/ECAPA) + 分离方式 (AHC/EEND), 并解释延迟与精度权衡。
参考文件 (相对路径, 扫描 3 通过):
- ../../第09章 - 音频与语音/01. 数字信号处理.md
- ../../第09章 - 音频与语音/02. 自动语音识别.md
- ../../第09章 - 音频与语音/03. 文本到语音与声音.md
- ../../第09章 - 音频与语音/04. 说话人与音频分析.md
- ../../第09章 - 音频与语音/05. 源分离与降噪.md
- ../复习大纲/第08章.md
- ../WRITING_TEMPLATE.md
- ../QUALITY_PROCESS.md
- ../../第02章 - 矩阵/ (Ch02 §02 矩阵分解 → NMF/ICA)
- ../../第03章 - 微积分/ (Ch03 §01 测不准 → Gabor 极限; Ch03 卷积定理 → STFT)
- ../../第04章 - 统计学/ (Ch04 §04 假设检验 → EER/FAR/FRR)
- ../../第05章 - 概率论/ (Ch05 §03 HMM/EM/Viterbi → GMM-HMM; Ch05 §05 KL → NMF KL 代价)
- ../../第06章 - 机器学习/ (Ch06 §03 卷积/RNN/GAN → Ch09 全章骨干)
- ../../第07章 - 计算语言学/ (Ch07 §04 Transformer → Conformer/Whisper/EEND)
- ../../第08章 - 计算机视觉/ (Ch08 §02 SENet/ArcFace → ECAPA-TDNN/AAM-Softmax)