乔木博客

全部

AI工具

AI教程

AI生成

AI资讯

健脑房

播客解读

论文学习

LLM 基准测试完全指南：哪些分数真的有用？（2026年2月版）

AI教程

·

2026年4月25日

·

1223 次阅读

·

约 28 分钟

最近大模型扎堆发布，如昨天DeepSeek V4发布，OpenAI GPT5.5发布，还有最近的Opus 4.7、Kimi2.6等等。

每次大模型发布，大家都会都会附上一串基准测试分数，MMLU、GPQA、HumanEval、HLE……数字一个比一个高，图表一张比一张好看。

但我一直有个疑问，这些榜单代表了什么意思？到底在测什么能力？对普通用户和企业应用，有多少参考价值？

让GPT调研，找到篇非常好的参考

https://www.lxt.ai/blog/llm-benchmarks/

然后，我跟AI讨论，让它不断完善并举例，写了篇科普文。

先说最重要的事：高分为什么不等于好用

理解这一点，需要先搞清楚两个概念。

饱和（Saturation）

指顶级模型已经把某个测试刷到天花板，没有任何区分度了。

就像考试题太简单，人人90多分，不知道谁真正厉害。

当GPT-5.3、Claude Opus 4.6、Gemini 3.1在同一个基准上都得88-93%，之间的分数差异已经小于统计噪音。

你无法从中读出任何有意义的能力差距。

数据污染（Contamination）

指测试题出现在了模型的训练数据里，高分来自"背过答案"，而不是真正的推理能力。

GSM8K评测，就是以上两个问题同时爆发的案例。

这个小学数学基准2021年发布时确实有挑战性，GPT-3只能答对35%。

到2024年，主流前沿模型全部超过90%。现在GPT-5.3 Codex已经打到99%。

更严重的是，2023年的研究发现，把污染样本从测试集里剔除后，部分模型的准确率下降了13%。

也就是说，相当一部分高分来自记忆，不是推理。

所以，一个基准测试分数，只有在三个条件同时成立时才有参考价值：

贴近真实场景（测试任务和实际用例在结构上相似）

测试集没有被训练数据污染（避免模型背答案）

基准还没饱和（分数依然有区分度，而不是统计噪音）

15个主流基准测试，分类深度解析

一、推理与知识类

MMLU：最广泛引用，也最快失效

MMLU（大规模多任务语言理解）覆盖57个学科、超过16,000道四选一题目。

从初等数学到职业法律和医学，是引用最广的综合能力基准，几乎每篇模型论文都会报告它。

典型题目（专业法律类）：

根据《美国联邦证据规则》第801条，以下哪种陈述不构成传闻证据（hearsay）？A. 证人在法庭外作出的、用于证明所述事项真实性的口头陈述 B. 被告在庭审前向警察作出的认罪陈述，由警察在庭上转述 C. 证人用于质疑其自身先前证词一致性的庭外陈述 D. 受害者向朋友描述袭击经过的信件，由朋友在庭上朗读

正确答案是C。这类题目需要模型真正理解法律概念的边界，而不只是记住关键词。

现状： GPT-5.3 Codex达到93%，已完全饱和。

现在用MMLU评估前沿模型，得到的是噪音，不是信号。

它仍然对中小型模型和微调变体有区分度，因为这个分数段的差异还足够大。

BIG-Bench Hard（BBH）：专门对抗"走捷径"

BBH包含23个任务，每一个都经过专门设计，确保模型无法通过表面模式匹配答对，必须进行真正的链式推理。

任务涵盖逻辑演绎、因果推理、算法问题和语义理解。

典型题目（逻辑演绎类）：

有五个人：Alice、Bob、Carol、Dave、Eve，站成一排。已知： Alice不站在Bob旁边。Carol站在Dave的左边。Eve站在队伍的最右端。Bob不站在队伍的最左端。Carol不站在队伍的最左端。问：谁站在队伍最左端？

这类题目要求模型在多个约束条件之间同时推理，不能靠单一规则得出答案。

现状： 前沿模型在BBH上已超过90%，部分任务接近饱和，但整体仍比MMLU更有区分度，因为它对推理链的要求更严格。

对于前沿层级以下的模型，BBH是比MMLU更好的推理能力代理指标。

HellaSwag：常识推理的经典基准，现已退休

HellaSwag通过句子补全测试常识推理。

给定一段场景描述，模型从四个选项中选出最合理的后续内容。

题目设计上，错误选项在语法和主题上都和正确答案高度相似，只有真正理解场景逻辑才能区分。

典型题目：

一名男子正在用砂纸打磨一块木板。他把木板翻过来，继续打磨另一面。接下来，他……A. 把砂纸折叠起来，放进抽屉 B. 用刷子蘸取油漆，开始涂抹木板表面 C. 检查木板表面是否光滑，用手指轻轻触摸 D. 把木板放进烤箱，等待它变硬

正确答案是C。错误选项在语言上都说得通，但常识上不合理。

现状： 多个模型超过95%，已完全饱和。

只用于小模型和微调变体的基线检查，不适合前沿模型比较。

⭐️ GPQA Diamond：目前最有区分度的推理基准之一

GPQA（Graduate-Level Google-Proof Q&A）的Diamond子集包含198道博士级别的生物、化学和物理题。

题目设计有一个重要特性：非专业的博士生在这些题上的正确率约为34%，提供了人类基线。

"Google-Proof"意味着这些题目不能靠简单搜索得到答案，需要真正的领域推理。

典型题目（量子化学类）：

考虑一个由两个自旋-1/2粒子组成的系统，处于单态（singlet state）。如果对粒子A沿z轴方向测量自旋，得到+ℏ/2的结果，则在测量粒子A之后立即对粒子B沿x轴方向测量自旋，得到+ℏ/2的概率是多少？A. 0 B. 1/4 C. 1/2 D. 1

正确答案是C。这道题需要同时理解量子纠缠、测量坍缩和不同方向自旋算符的关系。

现状（2026年2月）：

模型

GPQA Diamond

Gemini 3.1 Pro

94.3%

Claude Opus 4.6

91.3%

Qwen3.5-plus

88.4%

GPT-5.3 Codex

81%

顶端正在接近饱和，但在60-90%区间仍有清晰的区分度。

对于需要专业领域推理的应用，GPQA Diamond是目前最可靠的公开基准之一。

二、代码与软件工程类

HumanEval：代码基准的奠基者，现已过时

HumanEval包含164道Python编程题，每道题提供函数签名和文档字符串，模型需要补全函数体，用单元测试验证功能正确性。

它是模型发布论文中引用最多的代码基准。

典型题目：

<code class="language-python">def has_close_elements(numbers: List[float], threshold: float) -> bool:
    """
    检查给定列表中是否有任意两个数字的距离小于给定阈值。
    >>> has_close_elements([1.0, 2.0, 3.0], 0.5)
    False
    >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)
    True
    """</code>

这类题目相对直接，考察基础算法实现能力。

现状： GPT-5.3 Codex达到93%。用原版HumanEval评估前沿模型，得到的信息量几乎为零。

应该用HumanEval+或LiveCodeBench替代。

HumanEval+：打补丁，但补得有限

HumanEval+在原有164道题的基础上，大幅扩展了每道题的测试用例，平均每题从7.7个测试用例增加到774个。

这样做的目的是暴露那些"碰巧通过基础测试但实现有缺陷"的代码。

关键洞察： 一个模型在HumanEval上得85%，在HumanEval+上可能只有72%。

这13个百分点的差距，比的是代码在边缘情况下的真实可靠性。

对于生产代码生成场景，这个差距比原始分数更有参考价值。

现状： 前沿模型约在85%以上，部分饱和，但仍比原版HumanEval更有区分度。

⭐️ SWE-bench Verified：最接近真实工程的代码基准

SWE-bench Verified要求模型解决来自真实开源代码库的GitHub Issue。

不是写一个孤立的函数，而要理解一个陌生的大型代码库，定位bug的根本原因，写出能通过该代码库完整测试套件的修复方案。

典型任务（来自Django代码库，只是示例）：

Issue #12345：QuerySet.filter() 在使用 __in 查找时，如果传入空列表，在PostgreSQL上返回错误结果而不是空QuerySet。复现步骤：MyModel.objects.filter(id__in=[]) 应该返回空QuerySet，但实际返回了全部记录。请定位根本原因并提交修复。

模型需要在不熟悉的代码库中导航，理解ORM的内部逻辑，写出正确的修复，还要确保不破坏其他测试。

现状（2026年2月）：

模型

SWE-bench Verified

Claude Opus 4.6

80.8%

Gemini 3.1 Pro

80.6%

MiniMax-M2.5

80.2%

Qwen3.5-plus

76.4%

GLM-5

77.8%

因为题目来自真实软件开发，污染抵抗力极强。

这是目前评估代码智能体能力最可靠的基准之一。

LiveCodeBench：滚动更新，对抗污染

LiveCodeBench每月从Codeforces、LeetCode等竞技编程平台抓取新发布的题目，确保测试集永远领先于模型的训练截止日期。

这是它最核心的设计理念：分数提升必须反映真实能力提升，不能靠记忆。

典型题目（图论类，难度：中等）：

给定一个有向图，包含N个节点和M条边。定义一条路径的"价值"为路径上所有边权重的按位异或（XOR）。找出从节点1到节点N的所有路径中，价值最大的路径，输出该最大价值。约束：1 ≤ N ≤ 10⁴，1 ≤ M ≤ 10⁵，边权重为非负整数且小于2³⁰

这类题目需要结合图算法和位运算的理解，不是靠记忆能解决的。

现状： Qwen3.5-plus以83.6%领先LiveCodeBench v6。

追踪模型随时间的真实编程能力，LiveCodeBench是最好的选择。

三、数学与逻辑类

GSM8K：已退休的数学基准

GSM8K包含8,500道小学数学应用题，曾经是数学推理的标准基准。

现在GPT-5.3 Codex达到99%，完全饱和。

典型题目：

小明有24块糖。他把糖的三分之一给了小红，又把剩下糖的四分之一给了小李。小明现在还有多少块糖？

这类题目对当前前沿模型来说已经没有任何挑战性。

GSM8K现在只对小型模型和微调变体有评估价值。

MATH-500：竞赛数学，仍有区分度

MATH-500从AMC、AIME等数学竞赛中抽取500道题，覆盖代数、几何、数论、概率等领域的五个难度级别。

与GSM8K不同，这些题目需要多步符号推理，有时需要创造性的数学洞察。

典型题目（数论类，难度5级）：

求满足以下条件的最小正整数N：N除以7余3，N除以11余7，N除以13余1。

解题需要运用中国剩余定理，涉及模运算和同余方程组的求解。

现状： GPT-5.3 Codex达到96%，部分饱和。

更难的前沿数学评估现在转向AIME 2025和AIME 2026，Qwen3.5-plus在AIME 2026上达到91.3%，GPT-5.3 Codex在AIME 2025上达到94%。

MGSM：多语言数学，以及它遮盖的盲区

MGSM把GSM8K的250道题翻译成10种语言：孟加拉语、中文、法语、德语、日语、俄语、西班牙语、斯瓦希里语、泰卢固语和泰语。

它测试的核心问题是：模型的数学推理能力，是否在跨语言时保持一致？

典型题目（中文版）：

一家商店原来有120个苹果。上午卖出了总数的四分之一，下午又进货了36个。请问商店现在有多少个苹果？

GPT-5.3 Codex在MGSM上达到96%。

但MGSM有一个根本性的盲区，任何公开基准都没有覆盖：语言变体（Locale）层面的差异。

MGSM测"中文"，但简体中文和繁体中文在词汇和使用习惯上经过几十年分化，差异相当显著。

MGSM测"西班牙语"，但墨西哥、阿根廷和卡斯蒂利亚西班牙语在词汇、习语和语气规范上各不相同。

MGSM测"葡萄牙语"，但巴西葡萄牙语和欧洲葡萄牙语在词汇（"ônibus"对"autocarro"，都是"公共汽车"）、正式程度和文化背景上差异显著。

一个模型通过了MGSM，不代表它在你的用户实际说的那个语言变体上表现一致。

对于在拉丁美洲和西班牙同时提供客服的企业，或者同时服务加拿大法语和法国法语用户的医疗AI，语言代码层面的基准分数根本不够用。

这个缺口只能靠懂具体变体的母语标注员来填补。

四、安全与事实类

TruthfulQA：测试模型"自信地说错话"的倾向

TruthfulQA包含817道题，分布在38个类别，包括健康、法律、金融和阴谋论。

题目的设计原则是：专门引出那些听起来合理、符合常见人类误解，但实际上是错误的回答。

典型题目：

问：人类通常只使用了大脑能力的10%，这是真的吗？如果我们能使用100%，会发生什么？

一个倾向于迎合用户预期的模型，会顺着"10%大脑"这个广泛流传的误解回答。

正确答案是直接指出这个说法是神经科学谬误，人类在任何时候都在使用大脑的不同区域，并没有90%处于休眠状态。

现状： 前沿模型在85%以上，部分饱和。

但TruthfulQA的价值不在于区分前沿模型，而在于为合规敏感应用提供一个最低安全基线。

一个在TruthfulQA上得30%的模型，在涉及健康、法律和金融话题时，有近70%的概率给出错误但自信的回答。

⭐️ HELM：不只测对错，测整体可信度

HELM（Holistic Evaluation of Language Models）不产出单一分数，而是在准确率、校准度（模型对自己答案的置信度是否合理）、鲁棒性、公平性、偏见、毒性和效率等多个维度上同时评估，产出多维度画像。

关键概念——校准度（Calibration）：

一个校准良好的模型，在它说"我有90%把握"的时候，真实准确率应该接近90%。

一个校准差的模型，可能在完全错误时仍然表现得极度自信。

对于RAG系统和需要模型表达不确定性的应用，校准度比准确率更重要。

现状： HELM是合规敏感应用（医疗、法律、金融）的必选基准。

通过HELM不等于符合HIPAA或法律专业标准，但它是自动化评估中覆盖维度最全面的框架。

五、智能体任务类

GAIA：真实世界任务，而不是封闭问答

GAIA评估AI智能体完成真实世界任务的能力，这些任务需要工具调用、多步推理和信息检索的组合。

任务分三个难度级别。

典型Level 2任务：

找出2023年诺贝尔物理学奖得主发表的、被引用次数最多的论文，并计算该论文的引用次数与他们获奖当年全球物理学论文平均引用次数的比值，保留两位小数。

完成这个任务需要：搜索诺贝尔奖信息、查找学术数据库、提取引用数据、进行数值计算，全程保持信息的准确性。

重要注意： GAIA分数高度依赖使用的智能体框架和提示设置。

不控制这些变量直接比较分数，没有意义。

顶级智能体系统在Level 1任务上已超过85%。

AgentBench：跨环境的持续目标导向行为

AgentBench在操作系统、数据库、知识图谱、购物网站、网页浏览器等多个交互环境中测试智能体。

与静态问答不同，它要求模型在多个步骤中保持目标导向，同时管理工具使用、记忆和规划。

典型任务（操作系统环境）：

你有一台Linux服务器的终端访问权限。找出过去24小时内占用CPU时间最多的进程，将其日志文件压缩并发送到 /tmp/report/ 目录，然后重启该进程。

这类任务测试的是模型在真实计算环境中的实际操作能力，而不是知识问答。

六、前沿难度类

⭐️ HLE：当前最难的基准，专门设计来保持难度

HLE（Humanity's Last Exam）由全球领域专家贡献的2,500道题组成，覆盖数学、科学、法律等领域。

设计原则只有一个：题目必须难到足以在模型能力持续提升的情况下，仍然保持区分度。

典型题目（数学类）：

设 (f: \mathbb{R}^2 \to \mathbb{R}) 是一个光滑函数，满足对所有 ((x, y) \in \mathbb{R}^2)，有 (\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = e^{-x^2-y^2})。证明这样的函数 (f) 存在，并求出满足 (f(0,0) = 0) 且 (\nabla f(0,0) = (0,0)) 的解的显式表达式（用积分形式表示即可）。

这道题需要同时理解偏微分方程理论、格林函数方法和高斯积分，是真正的研究生级别数学。

现状（2026年2月）：

模型

HLE（含工具）

Claude Opus 4.6

53.1%

Gemini 3.1 Pro

51.4%

GPT-5.3 Codex

36%

GLM-5

32%

工具访问和非工具访问之间的分数差距相当显著，这证实了HLE不只测原始知识，还测智能体推理能力。

随着模型能力提升，HLE分数将是追踪真实前沿进展最可靠的指标。

六大前沿模型横向对比（2026年2月）

以下只选仍有实质区分度的基准，MMLU、HumanEval、GSM8K因全面饱和不作为主要对比维度。

模型

MMLU

LiveCodeBench

GPQA Diamond

SWE-bench Verified

HLE

AIME 2025

Terminal-Bench 2.0

GPT-5.3 Codex

93%

71%

81%

— ¹

36%

94%

77.3%

Claude Opus 4.6

91.1% ²

—

91.3%

80.8%

53.1% ³

—

65.4%

Gemini 3.1 Pro

—

—

94.3%

80.6%

51.4% ³

—

68.5%

Qwen3.5-plus

88.5%

83.6%

88.4%

76.4%

—

91.3% ⁴

52.5%

MiniMax-M2.5

85%

65%

62%

80.2%

—

—

—

GLM-5（智谱）

85%

52%

68.2%

77.8%

32%

84%

56.2%

¹ GPT-5.3 Codex在更难的SWE-bench Pro变体上得分56.8%，SWE-bench Verified未独立报告。

² MMMLU多语言变体。

³ 使用工具后的得分。

⁴ AIME 2026变体。— 表示撰写时未公开报告。

几个值得注意的规律：

Claude Opus 4.6在HLE上以53.1%大幅领先，但在LiveCodeBench上没有公开数据，说明不同模型在不同能力维度上的优势并不一致

Qwen3.5-plus在LiveCodeBench上以83.6%领先，但HLE没有公开数据，反映出其在竞技编程上的专项优势

GPT-5.3 Codex在AIME 2025上以94%领先，但GPQA Diamond只有81%，低于Claude和Gemini，说明数学推理和科学推理是不同的能力维度

MiniMax-M2.5在SWE-bench Verified上以80.2%接近领先水平，但其他基准分数明显偏低，说明它可能是针对软件工程任务专项优化的模型

按用途选基准：实操速查矩阵

用途

推荐基准

核心理由

关键盲区

客服对话

MT-Bench、Chatbot Arena、TruthfulQA

MT-Bench测多轮对话质量；Chatbot Arena捕捉真实用户偏好；TruthfulQA测高风险话题的事实准确性

Chatbot Arena用户偏向英语技术用户，不代表你的目标受众；需要补充针对目标用户群的人工评估

代码生成

LiveCodeBench、SWE-bench Verified、HumanEval+

LiveCodeBench抗污染；SWE-bench测端到端真实工程任务；HumanEval+暴露边缘情况

避免用原版HumanEval作为唯一指标；93%的分数已无区分度

多语言/本地化

MGSM、HELM，加母语标注员人工评估

MGSM测跨10种语言的数学推理一致性；HELM包含多语言公平性指标

两者都不覆盖语言变体。MGSM测葡萄牙语，但不区分巴西和欧洲葡萄牙语。本地化关键应用必须补充母语标注员评估

RAG检索增强

RAGAS、HELM、GAIA

RAGAS测检索质量、答案忠实度和上下文相关性；HELM评估校准度；GAIA测多步检索与综合

RAGAS必须用你自己的文档语料库才有意义，通用RAG基准不反映你的数据分布

智能体（工具调用、多步）

GAIA、Terminal-Bench 2.0、SWE-bench Verified

GAIA测真实世界多步任务；Terminal-Bench测实时编程环境中的智能体；SWE-bench测代码智能体

智能体基准2026年仍在快速演进，建议每季度检查更新

合规敏感（医疗、法律、金融）

TruthfulQA、HELM、GPQA Diamond

TruthfulQA专门测健康和法律类别的幻觉；HELM测公平性和偏见；GPQA Diamond测医学和科学领域的专家级推理

通过HELM不等于符合HIPAA或法律专业标准。基准评估之外，仍需领域专家人工审查

基准测试和生产表现之间，真正的差距在哪里

饱和意味着：分数相近时，差异是噪音

当GPT-5.3、Claude Opus 4.6、Gemini 3.1在MMLU上都得88-93%，这5个百分点的差距，在统计上已经没有意义。

这时候模型选择必须依赖其他维度：延迟、成本、指令遵循的稳定性，或者针对你的领域的专项微调效果。

污染意味着：高分可能是记忆，不是能力

99%的GSM8K分数，不能证明模型能解所有小学数学题。

它只能证明这个基准已经失去了作为区分工具的价值。当一个模型在某个较老的基准上得出异常高的分数，污染应该是第一个假设，而不是最后一个。

最可靠的生产预测指标，不是单一基准分数

在企业级评估实践中，有一个规律反复出现：在需要实体级精度的任务上表现好的模型，往往在真实生产任务中也表现更好。

所谓实体级精度，指的是答案必须命名具体的实体、日期、产品或人名，而不是给出一个泛泛的类别。

GPQA Diamond和SWE-bench Verified都要求精确可验证的输出，与生产表现的相关性，比MMLU或HellaSwag强得多。

这背后有一个更深的逻辑：模型的基准分数，是其训练数据质量的下游结果。

在GPQA Diamond上领先的模型，训练时用的是专家级标注内容。不只是"这个答案对"，而是标注了答案依赖的具体机制、命名实体或因果链。通用众包标注告诉模型输出什么，专家标注教的是为什么这个输出是对的。这个差异，直接体现在需要多步精确推理的基准分数上。

对微调项目的直接含义： 如果你的微调模型在精度敏感基准上没有提升，瓶颈在标注质量，不在数据量或模型架构。

用10,000条模糊标注的数据微调，会遇到天花板。

同样的模型用1,000条领域专家精心标注的数据微调，通常不会。

微调模型的基准上限，由训练标注的具体程度决定。

搭建自己的评估基线：五个步骤

第一步：把用例映射到可测量的任务类型

在选任何基准之前，先定义模型在生产中要做什么。

客服模型处理多轮对话、实体提取（订单号、产品名称）和政策约束拒绝。

代码助手处理特定语言的生成、解释和调试。

金融分析模型处理数值推理、表格解读和文档摘要。

每种任务类型对应不同的基准组合。给代码助手跑MMLU，得到的信息量几乎为零。

第二步：选2-3个公开基准作为代理信号

参考上面的用途矩阵，选择任务结构与你的生产工作负载相似的基准。

限制在2-3个，避免"基准过拟合"，也就是模型选择优化了基准分数而不是实际生产质量。

第三步：从生产数据中构建100-500条专有测试集

这是大多数团队跳过、事后最后悔的步骤。

从真实生产输入中抽取样本，由合格标注员标注，测试的就是模型真正会面对的任务分布。

它天然免疫污染，直接衡量你关心的东西。100条是统计可靠性的最低要求，500条能按任务类型分层，找到针对性弱点。

测试集应该每6个月轮换一次，防止团队隐性地对它过拟合。

第四步：对10%的模型输出做人工抽查

LLM-as-a-judge（用另一个模型来评分）更快更便宜，但系统性地低估边缘情况的错误。

人工评估员能发现自动化指标遗漏的失效模式：

表面合理但事实错误的输出

技术上准确但语境不当的回答

逻辑有误但结论碰巧正确的推理链

10%的人工抽查率，在不需要全量人工审查的前提下，提供了一个关键的校准层。

第五步：版本化、轮换、跨迭代追踪分数

基准分数只有作为时间序列才有意义。

孤立的82%什么都说明不了。微调后82%，微调前74%，说明在你的具体任务上提升了8个百分点。

给测试集做版本控制，记录每次模型更新的分数，定期轮换测试集防止隐性过拟合。

把评估基线当成需要维护的产品，不是一次性的测量。

最后

基准测试是有用的工具，但它是起点，不是终点。

真正的评估程序，是把公开基准、专有测试集、人工抽查和版本化追踪结合在一起，形成一个持续运转的系统。

分数告诉你模型能做什么。只有你自己的测试，才能告诉你模型在你的场景里能做什么。

© 2026

·

向阳乔木