🌳 Ch22 LLM Evaluation 方法学
├─ §01 为什么 Eval 是 LLM 的圣杯
│ └─ 3 大原因
│ │ └─ 决定 RLHF Reward
│ │ └─ 决定 LLM-as-Judge
│ │ └─ 决定 Harness Engineering
│ └─ 3 大挑战
│ │ └─ Contamination
│ │ └─ Saturation
│ │ └─ Construct Validity
├─ §02 传统 NLP 指标
│ └─ BLEU (n-gram Precision)
│ │ └─ 短句 brevity penalty
│ │ └─ 机器翻译
│ └─ ROUGE (Recall)
│ │ └─ 摘要
│ │ └─ ROUGE-1/2/L
│ └─ METEOR
│ │ └─ 同义词 + 词干
│ │ └─ 比 BLEU 更接近人类
│ └─ chrF
│ │ └─ 字符级 n-gram
│ │ └─ 适合形态丰富语言
│ └─ BERTScore
│ │ └─ 上下文 embedding 余弦
│ │ └─ 语义友好
│ └─ Perplexity (PPL)
│ │ └─ LM 不确定度
│ └─ WER (词错误率)
│ │ └─ ASR 主流
├─ §03 现代 Benchmark 体系
│ └─ 知识
│ │ └─ MMLU / MMLU-Pro (斯坦福)
│ │ └─ GPQA (推理)
│ └─ 数学
│ │ └─ GSM8K / MATH / MATH-500
│ └─ 代码
│ │ └─ HumanEval / MBPP / LiveCodeBench
│ │ └─ SWE-Bench (真实 GitHub)
│ └─ 综合
│ │ └─ BBH / BIG-Bench / HellaSwag
│ │ └─ AGIEval / C-Eval (中文)
│ └─ 实时
│ │ └─ LiveBench / FrontierEval
│ └─ 完整
│ │ └─ HELM (Stanford CRFM)
│ │ └─ 7 维 × 16 场景
│ └─ 真实性
│ │ └─ TruthfulQA / HaluEval
│ └─ 中文
│ │ └─ C-Eval / CMMLU
├─ §04 竞技场与人类偏好
│ └─ LMSYS Chatbot Arena
│ │ └─ 真实用户投票
│ │ └─ Elo 排名
│ │ └─ 100 万+ 投票
│ └─ Bradley-Terry
│ │ └─ P(A>B) = exp(r_A) / (exp(r_A)+exp(r_B))
│ └─ Elo Rating 更新
│ │ └─ R_new = R_old + K(S-P_pred)
│ └─ TrueSkill (多选手)
│ │ └─ 微软 Xbox
│ │ └─ 不确定性 (μ, σ)
│ └─ 偏好数据收集
│ │ └─ 人工 pairwise
│ │ └─ 用户隐式反馈
│ │ └─ LLM 替代 (LLaMA-2-Choices)
├─ §05 LLM-as-Judge
│ └─ 3 种模式
│ │ └─ Single-Point Grading
│ │ └─ Pairwise Comparison
│ │ └─ Reference-based Scoring
│ └─ 4 大 Bias
│ │ └─ Position (位置)
│ │ └─ Verbosity (长度)
│ │ └─ Self-Bias (同源)
│ │ └─ Anchoring
│ └─ 最佳实践
│ │ └─ Few-shot 示例
│ │ └─ CoT
│ │ └─ JSON 输出
│ │ └─ Judge Calibration
│ └─ 应用
│ │ └─ MT-Bench
│ │ └─ AlpacaEval
│ │ └─ Chatbot Arena
│ └─ 与 RM 区别
│ │ └─ Judge: 推理时, 不可训练
│ │ └─ RM: 离线训练, 可微分
├─ §06 Contamination
│ └─ 检测方法
│ │ └─ n-gram overlap
│ │ └─ Membership Inference
│ │ └─ 死记硬背行为
│ └─ 缓解
│ │ └─ 私有 Hold-out
│ │ └─ 定期更新
│ │ └─ 模糊改写
│ │ └─ 时间戳
│ └─ 历史事故
│ │ └─ GPT-4 在 HumanEval 高分争议
├─ §07 能力 + 安全 Eval 双轨
│ └─ Capability Eval
│ │ └─ 推理 / 代码 / 数学
│ │ └─ FrontierEval
│ └─ Safety Eval
│ │ └─ Jailbreak
│ │ └─ Bias
│ │ └─ Toxicity
│ └─ Agent Eval
│ │ └─ SWE-Bench / WebArena / OSWorld
│ │ └─ Agent-as-a-Judge
│ └─ 多模态 Eval
│ │ └─ MMMU / MMBench
├─ §08 Harness Engineering
│ └─ 5 大支柱
│ │ └─ Eval Harness
│ │ └─ Inference Harness
│ │ └─ Agent Harness
│ │ └─ Safety Harness
│ │ └─ Data Harness
│ └─ 主流框架
│ │ └─ lm-evaluation-harness
│ │ └─ OpenCompass (中文)
│ │ └─ HELM
│ │ └─ BigCode
│ └─ 5 大挑战
│ │ └─ Contamination
│ │ └─ Saturation
│ │ └─ Cost
│ │ └─ Latency
│ │ └─ Reproducibility