第22章 · LLM Evaluation 方法学 · 总览¶

章节定位: LLM 时代的"度量衡" — 从传统 NLP 指标到现代 Benchmark + LLM-as-Judge + Harness 章节字数: ~8 节正文 / ~12 万字 配套教辅: 本总览 + 各节精讲 + 评测代码示例版本: v1.0 (2026-07-31)

一 · 一句话总览¶

Eval = LLM 的"圣杯"。没有好 Eval, 就没有 RLHF 的 Reward Model, 就没有可靠的 LLM-as-Judge, 就没有 Harness Engineering。Eval 决定 LLM 走向。

二 · 章节地图¶

Ch22 LLM Evaluation 方法学
├── §01 为什么 Eval 是 LLM 的圣杯
├── §02 传统 NLP 指标 (BLEU / ROUGE / METEOR / chrF)
├── §03 现代 Benchmark 体系
│    - MMLU / GSM8K / HumanEval / BBH / AGIEval
│    - HELM / BIG-Bench / LiveBench / FrontierEval
├── §04 竞技场与人类偏好
│    - LMSYS Chatbot Arena
│    - Bradley-Terry / ELO / TrueSkill
│    - 偏好数据收集
├── §05 LLM-as-Judge · 用模型评模型
│    - 单点评测 (Single-Point)
│    - 成对比较 (Pairwise)
│    - 评分标准 / Reference-based
├── §06 Contamination 与 Benchmark 崩坏
│    - 数据污染检测
│    - 数据集动态更新
│    - 私有 Hold-out
├── §07 前沿方向 · Capability 与 Safety Eval
│    - Capability / Safety / Trust 双轨
│    - Agent Eval / Tool-use Eval
│    - 多模态 Eval
├── §08 Harness Engineering 综述
│    - Eval / Inference / Agent / Safety / Data 5 大支柱

三 · 关键概念 60+¶

3.1 传统指标¶

BLEU / ROUGE / METEOR
chrF / CIDEr / SPICE
Perplexity (困惑度)
Word Error Rate (WER)
F1 / Exact Match (EM)
BERTScore / MoverScore

3.2 现代 Benchmark¶

MMLU / MMLU-Pro / MMLU-Redux
GSM8K / MATH / MATH-500
HumanEval / MBPP / LiveCodeBench
BBH (Big-Bench Hard) / BIG-Bench
HellaSwag / PIQA / ARC
AGIEval / GAOKAO / C-Eval
MT-Bench / AlpacaEval
HELM / LiveBench / FrontierEval
TruthfulQA / HaluEval

3.3 竞技场与偏好¶

LMSYS Chatbot Arena
Bradley-Terry 模型
ELO Rating
TrueSkill
Preference Data Collection
K-wise Comparison

3.4 LLM-as-Judge¶

Single-Point Grading
Pairwise Comparison
Reference-based Scoring
Likert Scale
Position Bias
Self-Bias / Verbosity Bias
Judge Prompt Engineering
Judge Calibration

3.5 评测挑战¶

Data Contamination
Benchmark Memorization
Test Set Leakage
Goodhart's Law
Benchmark Saturation
Construct Validity

3.6 Harness Engineering¶

Inference Harness
Agent Harness
Safety Harness
Data Harness
Eval Harness
vLLM / SGLang / TensorRT-LLM
LM Evaluation Harness (EleutherAI)
OpenCompass

四 · 学习路径¶

入门 (Week 1):
  §01-§02 圣杯 + 传统指标

核心 (Week 2-3):
  §03-§04 Benchmark + 竞技场

进阶 (Week 4-5):
  §05-§06 LLM-as-Judge + Contamination

前沿 (Week 6-7):
  §07-§08 Capability/Safety Eval + Harness

五 · 推荐阅读¶

lm-evaluation-harness, EleutherAI
OpenCompass 评测榜单
LMSYS Chatbot Arena Leaderboard
HELM 论文 (Stanford CRFM)
LiveBench Leaderboard
Anthropic, "Harness Engineering" 综述

六 · 5 大评测工具链¶

工具	出品	特色
lm-evaluation-harness	EleutherAI	通用
OpenCompass	上海AI Lab	中文 + 多模态
HELM	Stanford CRFM	全维度
LiveBench	学术界	防污染
Chatbot Arena	LMSYS	真实偏好