2.9 LLM评估

没有评估 = 没有方向。就像裁缝没有尺子，无法知道衣服是否合身。训练模型时，如果没有科学的评估方法，你不知道模型是在进步还是在退步。

评估的三个维度：

1. 能力评估：模型能做什么？（问答、翻译、代码、推理）

2. 安全评估：模型不应该做什么？（生成有害内容、泄露隐私、产生偏见）

3. 效率评估：模型的成本如何？（推理速度、内存占用、能耗）

常见评估指标：

HumanEval：代码能力的终极测试。OpenAI 2021年发布。包含164个编程问题，每个问题有函数签名、文档字符串和若干测试用例。模型需要补全函数体，让测试用例全部通过。

HumanEval例子：

def has_close_elements(numbers: List[float], threshold: float) -> bool:
    """ Check if in given list of numbers, any two numbers are closer than given threshold."""
    # 模型需要补全这里
    pass

# 测试用例：
assert has_close_elements([1.0, 2.0, 3.0], 0.5) == False
assert has_close_elements([1.0, 2.0, 2.5], 0.6) == True
assert has_close_elements([1.0, 2.0, 2.4], 0.5) == True
assert has_close_elements([1.0, 2.0, 2.3], 0.3) == False
assert has_close_elements([1.0, 2.0, 2.2], 0.2) == True

# 正确补全：
for i in range(len(numbers)):
    for j in range(i+1, len(numbers)):
        if abs(numbers[i]-numbers[j]) < threshold:
            return True
return False

HumanEval分数：

GPT-3.5: 48.1%
GPT-4: 67.0%
GPT-4o: 90.2%
Claude 3.5 Sonnet: 92.0%
人类程序员: ~80-95%

MMLU（Massive Multitask Language Understanding）：加州大学伯克利分校发布。包含57个学科（数学、物理、化学、生物、历史、法律、计算机等），每个学科有多个选择题。测试模型的通用知识。

MMLU分数：

GPT-3: 43.9%
GPT-3.5: 70.0%
GPT-4: 86.4%
人类专家: 89.8%
Claude 3 Opus: 86.8%

其他重要基准：