3 个章节·按类别展开/折叠
知识
3 类评估方法
- Loss 曲线:train_loss 和 eval_loss 都应下降,差距小。差距大→过拟合。
- Human eval:让 5-10 个真人盲评 A/B,看偏好率。
- 自动 benchmark:
# 中文常用评测
from datasets import load_dataset
mmlu = load_dataset("cais/mmlu", "all")
ceval = load_dataset("ceval/ceval-exam")知识
常见误区
- 只看 Loss:Loss 降但生成质量反而差(reward hacking)
- 不评估:以为训练完就好用,实际上可能回答变差
- 用同一批数据 eval:等于作弊
callout