第22章 · LLM Evaluation 方法学 · 闪卡¶
Q/A 速记。Anki 导入 / 每日 10 张。
一 · 传统指标 (6 张)¶
Q1: BLEU 衡量什么? A1: n-gram 精确率 (机器翻译)。问题: 不考虑语义, 短句有 brevity penalty。
Q2: ROUGE 与 BLEU 的区别? A2: ROUGE 是 Recall, BLEU 是 Precision。ROUGE 用于摘要, BLEU 用于翻译。
Q3: METEOR 相对 BLEU 的改进? A3: 引入同义词 + 词干 + 词序, 更接近人类判断, 与人工评价相关性高 30%。
Q4: chrF 是字符级还是词级? A4: 字符级 n-gram F1。对形态丰富语言 (德语 / 芬兰语) 友好。
Q5: BERTScore 为什么好? A5: 用 BERT 上下文 embedding 算相似度, 捕获语义, 与人工相关性高 50%。
Q6: Perplexity (困惑度) 是什么? A6: PPL = exp(平均负对数似然)。越低越好, 衡量 LM "有多确定"。
二 · Benchmark 体系 (10 张)¶
Q7: MMLU 衡量什么? A7: 57 学科多选题, 衡量世界知识 + 推理。GPT-4 ~86%, 人类专家 ~89%。
Q8: MMLU-Pro 与 MMLU 的区别? A8: MMLU-Pro 增加选项 (4→10) + 推理题 + 难题。Claude 3.5 Sonnet ~75% vs MMLU ~88%。
Q9: GSM8K 是什么? A9: 小学数学应用题 8500 道。衡量多步数学推理。GPT-4 ~92%, Claude 3.5 Sonnet ~96%。
Q10: HumanEval 衡量什么? A10: 164 道 Python 函数题, 衡量代码生成。pass@1 (一次通过率) 是核心指标。
Q11: LiveCodeBench 相对 HumanEval 的改进? A11: 持续更新 (每月新题), 防止数据污染。Anthropic / OpenAI 都在用。
Q12: BBH (Big-Bench Hard) 是什么? A12: 23 个 BIG-Bench 中"对模型最难"的任务, CoT 提示下仍有挑战。
Q13: HELM 是什么? A13: Stanford CRFM 的 Holistic Evaluation, 7 类指标 × 16 场景, 是 LLM 综合评测标杆。
Q14: LiveBench 与 LiveCodeBench 关系? A14: LiveBench 覆盖数学 / 代码 / 推理 / 语言, 每月更新, 防污染通用版。
Q15: TruthfulQA 衡量什么? A15: 故意诱导模型说错的题目。GPT-4 仅 ~60%, 衡量真实性 / 不被骗。
Q16: AGIEval 与 C-Eval 是什么? A16: 中文学术考试类 Benchmark。AGIEval (SAT / 高考) / C-Eval (中文 52 学科)。
三 · 竞技场与偏好 (6 张)¶
Q17: LMSYS Chatbot Arena 是什么? A17: 用户与两个匿名模型对话后投票, Elo 排名。目前最权威的真实偏好榜单。
Q18: Bradley-Terry 模型是什么? A18: P(A>B) = exp(r_A) / (exp(r_A) + exp(r_B)), r 是 skill rating。是 Arena 排名基础。
Q19: ELO Rating 在 Arena 中如何计算? A19: 每次投票更新两模型 Elo: R_new = R_old + K × (S - P_predicted), S=实际结果 (1/0.5/0)。
Q20: TrueSkill 相对 ELO 的改进? A20: 支持 K 个选手, 不确定性 (μ, σ), 用于多模型同时比较。Microsoft Xbox 团队发明。
Q21: 偏好数据如何收集? A21: ① 标注员两两比较; ② Arena 投票; ③ LLM 替代 (LLaMA-2-Choices); ④ 用户隐式反馈 (点赞)。
Q22: 什么是 K-wise Comparison? A22: 一次比较 K 个回答, 让标注员排序。信息量是 Pairwise 的 log K 倍, 但标注成本高。
四 · LLM-as-Judge (8 张)¶
Q23: LLM-as-Judge 的核心思想? A23: 用强 LLM (GPT-4 / Claude) 当裁判, 评估弱模型输出。单点 / 成对 / 参考 3 种模式。
Q24: Position Bias 是什么? A24: LLM 倾向选位置在前的回答。Pairwise 必须交换位置取平均消除。
Q25: Verbosity Bias 是什么? A25: LLM 倾向选更长的回答。要在 prompt 中加"忽略长度, 关注质量"。
Q26: Self-Bias 是什么? A26: 模型倾向给同源模型 (如 GPT-4 评 GPT-4) 打高分。Anthropic / Google 内部论文已证。
Q27: 什么是 Reference-based Grading? A27: 给 LLM 一个标准答案, 评分 1-5。降低 Position/Verbosity bias, 但需高质量 reference。
Q28: Judge Prompt 的最佳实践? A28: ① 明确评分维度; ② 提供 few-shot 示例; ③ 加 chain-of-thought; ④ 强制 JSON 输出。
Q29: 什么是 Judge Calibration? A29: 用人类评分校准 LLM Judge, 让 Judge 评分 = α × LLM + β 接近人类分数。
Q30: LLM-as-Judge 与 Reward Model 区别? A30: Judge 推理时调用, 不可训练; RM 离线训练, 推理时调用。Judge 更灵活, RM 更高效。
五 · 污染与 Harness (8 张)¶
Q31: Data Contamination 是什么? A31: 测试集泄露到训练数据, Benchmark 分数虚高。例: GPT-4 在 HumanEval 高分但实际编程能力没那么强。
Q32: 如何检测 Contamination? A32: ① n-gram overlap (训练/测试); ② Membership Inference; ③ 模型在测试题上的"死记硬背"行为。
Q33: Benchmark Saturation 是什么意思? A33: 模型达到 95%+ 分数, Benchmark 失效。MMLU 已被 GPT-4/Claude 3.5 接近饱和 → 改用 MMLU-Pro。
Q34: Construct Validity 是什么? A34: Benchmark 真的在测它声称测的能力? 例: GSM8K 测数学, 但模型可能只是记住了答案。
Q35: 什么是 Harness Engineering? A35: 把 Inference / Agent / Safety / Eval / Data 5 大子系统工程化集成。Anthropic 2024 提出。
Q36: lm-evaluation-harness 是什么? A36: EleutherAI 的通用评测框架, 200+ Benchmark, GPT-4 / Claude / Gemini 都用它。
Q37: OpenCompass 是什么? A37: 上海 AI Lab 的中文评测框架, 100+ 数据集, 支持国内外 50+ 模型。
Q38: HELM Leaderboard 当前排名? A38: 综合 7 类指标。GPT-4o / Claude 3.5 Sonnet / Gemini 2.0 Pro 长期前三。