Ch22 LLM Evaluation 方法学 · 复习大纲¶
目标: 60 分钟掌握 LLM 评测方法学 受众: LLM 工程师 / 评测负责人 / 面试候选人
一、知识地图(8 大模块)¶
§01 为什么 Eval 重要¶
- 决定 RLHF Reward 质量
- 决定 LLM-as-Judge 公正性
- 决定 Harness Engineering 复用度
- 3 大挑战: Contamination / Saturation / Construct Validity
§02 传统指标¶
- BLEU: n-gram Precision, 翻译
- ROUGE: Recall, 摘要
- METEOR: 同义词 + 词干
- chrF: 字符级
- BERTScore: 上下文 embedding
- PPL: 语言模型不确定度
- WER: 词错误率, ASR
§03 现代 Benchmark¶
- 知识: MMLU / MMLU-Pro / GPQA
- 数学: GSM8K / MATH / MATH-500
- 代码: HumanEval / MBPP / LiveCodeBench / SWE-Bench
- 综合: BBH / BIG-Bench / HellaSwag
- 中文: C-Eval / CMMLU
- 实时: LiveBench / FrontierEval
- 完整: HELM 7×16
- 真实性: TruthfulQA / HaluEval
§04 竞技场¶
- LMSYS Arena: 真实投票
- Bradley-Terry 模型: 偏好概率
- Elo Rating: K-factor 更新
- TrueSkill: (μ, σ) 不确定性
§05 LLM-as-Judge¶
- 3 模式: Single-Point / Pairwise / Reference
- 4 大 Bias: Position / Verbosity / Self-Bias / Anchoring
- 最佳实践: Few-shot + CoT + JSON
- 应用: MT-Bench / AlpacaEval
§06 Contamination¶
- 检测: n-gram / Membership / 行为
- 缓解: 私有 / 定期 / 模糊 / 时间戳
- 历史争议: GPT-4 HumanEval
§07 双轨 Eval¶
- Capability: 推理/代码/数学
- Safety: Jailbreak/Bias/Toxicity
- Agent: SWE-Bench/WebArena
- 多模态: MMMU/MMBench
§08 Harness Engineering¶
- 5 大支柱
- 主流框架: lm-eval-harness / OpenCompass / HELM / BigCode
- 5 大挑战: Contamination/Saturation/Cost/Latency/Reproducibility
二、重点公式¶
BLEU 简化¶
\[\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \log p_n\right)\]
BP = Brevity Penalty, \(p_n\) = n-gram precision
Bradley-Terry¶
\[P(A \succ B) = \frac{e^{r_A}}{e^{r_A} + e^{r_B}}\]
Elo 更新¶
\[R_{\text{new}} = R_{\text{old}} + K(S - P_{\text{pred}})\]
K=32 (Arena), S ∈ {0, 0.5, 1}, P_pred = \(\frac{1}{1+10^{(R_B-R_A)/400}}\)
BERTScore¶
\[\text{BERTScore} = \frac{1}{|x|}\sum_{x_i \in x} \max_{y_j \in y} \text{sim}(\mathbf{x}_i, \mathbf{y}_j)\]
Perplexity¶
\[\text{PPL}(x) = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p_\theta(x_i | x_{<i})\right)\]
三、必会题(15 题)¶
- BLEU 与 ROUGE 核心区别?
- MMLU 多少题?多少学科?
- HumanEval 与 SWE-Bench 区别?
- LMSYS Arena 投票如何转 Elo?
- LLM-as-Judge 4 大 Bias?
- MT-Bench 与 AlpacaEval 区别?
- 如何检测 Contamination?
- HELM 7 维度 × 16 场景是哪些?
- BERTScore 为何更接近人类?
- C-Eval 与 MMLU 区别?
- Bradley-Terry 假设是什么?
- TrueSkill 相对 Elo 的优势?
- Self-Bias 如何缓解?
- LiveCodeBench 为何可信?
- Harness 5 大支柱?
四、5 道深入题¶
- 设计一套评估新 LLM 的完整 Harness(代码 + 报告)?
- LLM-as-Judge 如何校准以减少位置/长度偏差?
- Contamination 检测的 4 种方法,各自优缺点?
- 比较 HELM、OpenCompass、lm-eval-harness 三大框架?
- TruthfulQA 为何重要?如何在 Harness 中实现?
五、实践作业¶
- 用 lm-eval-harness 评估一个开源 LLM,生成完整报告
- 用 MT-Bench 风格设计自己的评测,对比 3 个模型
- 实现 Bradley-Terry 模型,基于 1000 投票估计 Elo
- 阅读 TruthfulQA 论文, 设计扩展数据集
六、参考资源¶
- HELM (Liang et al. 2022)
- lm-evaluation-harness (EleutherAI)
- OpenCompass (上海 AI Lab)
- LMSYS Chatbot Arena Leaderboard
- TruthfulQA (Lin et al. 2022)
- MMLU (Hendrycks et al. 2021)
七、自检清单¶
- [ ] 能列出 5 个传统 NLP 指标
- [ ] 能说出 MMLU/GSM8K/HumanEval 题目数
- [ ] 能解释 Bradley-Terry 概率公式
- [ ] 能列出 LLM-as-Judge 4 Bias
- [ ] 能区分 MT-Bench 与 AlpacaEval
- [ ] 能设计 Contamination 检测方案
- [ ] 能选择合适 Eval 框架