一文读懂AI大模型之「盾」，全行业283个LLM基准测试都在这了

图｜代表性 LLM 基准测试（按时间线）。

大模型技术如矛，基准测试（benchmark）如盾。只有矛愈锋利，盾愈坚固，AI 行业才会不断被推向更高处。

如果你身处大模型行业或已经被大模型技术所影响，除了知道有哪些“矛”，还必须了解有哪些“盾”，从而更好地了解人工智能（AI）行业的真正发展现状。

日前，中国科学院深圳先进技术研究院团队及其合作者首次对「LLM 基准测试」的现状与发展进行了系统性回顾，并将 283 个具有代表性的基准测试分为了三类： 

• 通用能力（general capabilities）基准测试：涵盖核心语言学、知识和推理等方面的内容；
• 领域特定（domain-specific）基准测试：聚焦于自然科学、人文社会科学和工程技术等领域；
• 目标特定（target-specific）基准测试：关注风险、可靠性、代理等方面的内容。

他们指出，当前基准测试存在因数据污染导致的“分数虚高”、因文化和语言偏见导致的“不公平评估”，以及缺乏对过程可信度和动态环境的评估等问题，并为未来基准测试创新提供了可参考的设计范式。

大模型考试亟待突破

自 2017 年 Transformer 架构问世以来，从基础的语言理解与文本生成任务，到复杂的逻辑推理与智能体（Agent）交互，LLM 持续拓展着 AI 的能力边界，进而重塑人机交互模式和信息处理范式。

如今，LLM 已广泛渗透到智能客服、内容创作、教育、医疗、法律等领域，成为推动数字经济发展和社会智能化转型的核心力量。然而，随着 LLM 技术的快速演进，建立一套科学、系统且全面的评估体系变得尤为迫切。

基准测试作为衡量模型性能的量化工具，不仅是评价模型能力的核心手段，更是推动技术迭代与模型优化的重要因素。通过基准测试，研究者能够客观比较不同模型的性能，准确识别技术瓶颈，并为算法优化与结构设计提供数据支持。同时，标准化评估结果也有助于增强用户信任，确保模型在安全性、公平性等方面符合社会和道德规范。

与早期 LLM 相比，现今 LLM 的参数规模已呈指数级增长，其能力也从单一任务拓展至多任务、多领域。因此，评估内容也从固定任务转变为多任务、多领域，对评估方法的科学性和适应性都提出了更高要求。

当前，大语言模型（LLM）的评估体系仍存在诸多亟待突破的难题，如下：

• 部分模型在训练阶段可能已接触过评测数据，从而导致评估结果存在“数据泄露效应”，难以真实反映模型的泛化能力。
• 静态评测方法在很大程度上无法刻画动态真实世界环境的复杂性，亦难以有效预测模型在新任务或新领域下的适应性表现。
• 现有评估指标维度相对单一，难以全面揭示 LLM 在推理、理解、生成等多方面的综合能力。
• 在偏见检测、安全漏洞识别以及指令合规性等核心环节上，尚缺乏系统性与可扩展的评估框架。
• 大规模评估所需的高昂算力与人力成本，也成为限制 LLM 评估体系可持续发展的关键瓶颈。

大模型考题的「发展史」

语言能力基准的演化，体现了 LLM 进步与评估方法之间持续不断的“军备竞赛”。这一过程的核心动力在于对“广义语言能力”的探索，即从表层的模式匹配，转向对语法、语义及语用等深层语言理解的考察。

2018 年推出的 GLUE 是一个关键进展，它通过将 9 个不同的英语自然语言理解（NLU）任务，如情感分析、文本蕴含，纳入统一框架来应对这一问题。随后，SuperGLUE 引入了更具挑战性的任务，强调复杂推理能力。

然而，研究发现，模型倾向于利用数据标注中的人工痕迹。HellaSwag 等基准应运而生。这类任务对人类而言轻而易举，但对模型却具有较高难度，从而更直接地测试常识和脚本知识。在中文方面，CLUE 是首个具有代表性的中文 NLU 基准，而 Xtreme 则扩展至包含 12 个语系、40 种语言，系统评估了形态变化、词序等不同语言属性下的泛化能力。HELM 则引入了“动态基准”概念，通过不断扩展场景来动态整合新兴语言维度。

图｜代表性语言核心基准。

存储并准确提取大量现实世界信息的能力，是现代 LLM 的基石之一。这些模型如同知识库一般，从海量训练语料中吸收信息。因此，衡量其知识范围与可靠性，成为模型评估的重要维度。这类测试通常模拟“闭卷考试”，要求模型完全依赖其内部参数化知识。

知识评估的演化路径，呈现出 LLM 从信息检索工具向内化知识转变的趋势。MMLU 的引入成为开创性的突破，它确立了一个新的、有影响力的范式。MMLU-Pro 通过增加选项数量和推理密集型问题的比例，提高了任务的对抗性难度。GPQA 等基准由领域专家设计，旨在实现“防谷歌化”，直接应对模型依赖网络搜索而非内化知识作答的挑战。

当前最主要的评估形式为多项选择问答（MCQA），其优势在于具备良好的可扩展性，且可以通过准确率这一核心指标实现客观自动评估。AGIEval 和 GAOKAO-Bench 等基准正是采用这一方式，从高风险的人类考试中精选题目。

HELM 和 BIG-Bench 等框架则将知识能力评估纳入更广泛的指标体系中，涵盖鲁棒性、公平性与校准性等维度。为打破英语中心、文本导向的评估范式，业内还提出了如 M3Exam 等多语言基准，以及 GAOKAO-MM、CMMMU 等以中文为主的多模态知识测试。

图｜代表性知识导向基准。

尽管知识导向的基准测试在方法和形式上愈发严谨、多元，但仍面临一系列关键挑战。其中最普遍的挑战，是数据污染的隐患。其次，封闭式评估方法本身也存在局限性。

推理能力——涵盖形式逻辑、常识推理和应用问题求解——是构建高级智能的关键基础。在 LLM 中评估这一能力，对于理解其认知边界与实际应用潜力至关重要。

逻辑推理领域，是 LLM 评估中最为成熟且最密集的方向。整体演进轨迹清晰：从测试离散推理步骤的基础性基准（如 SimpleLogic）开始，逐渐发展到对高度复杂、多步甚至程序化推理的评估（如 LogicPro）。

常识推理与专业推理的引入，标志着评估维度的进一步拓展。智能需要的不仅仅是形式逻辑。Corr2Cause 与 CLadder 等基准首次尝试系统评估因果推理，推动模型从相关性走向理解。与此同时，主动推理（AR-Bench）和语言规则归纳（IOLBENCH）类基准的出现代表了一种范式转变，将评估从被动的模式识别转向主动的、具备能动性的问题解决。

在应用推理和上下文推理上，HotpotQA 要求模型定位并连接分散的证据以进行多跳推理，而ARC则需要运用科学知识。BIG-Bench Hard 在 23 个多样任务上专注挑战性组合推理，而 LiveBench 的创新之处在于使用实时的、私有用户查询。

LLM 推理能力的评估方式已从早期的形式逻辑测验不断演进，发展出更加贴近现实应用的复杂评估体系。

图｜用于评估 LLM 推理的各种基准的全面概述。

将评估视角从通用能力转向专业领域，是测试 LLM 能力边界的另一个关键步骤。

作为人类知识体系中逻辑最严密、结构最有组织的领域之一，自然科学对 LLM 的知识基础和推理能力提出了巨大挑战。该领域涵盖数学、物理、化学、生物等核心学科，在此类任务中取得成功不仅要求模型具备扎实的通用能力，还需具备强大的抽象推理、符号操作能力，以及追踪复杂因果链的能力。

图｜自然科学领域代表性基准。

除了在自然科学中对 LLM 进行理性层面的能力评估，其拟人化的对话特性还使其与人类交流更加自然、高效，从而增强了交互式应用的潜力。

社会科学作为最以人为中心的领域之一，在这一背景下显得尤为重要。一个关键问题是，LLM 能否在法律、知识产权、教育、心理学和金融等领域有效应对现实世界的挑战。所有人文与社会科学领域都高度适用于现实场景。其中的最大挑战之一，是如何科学评估 LLM 在这些领域的知识水平，这涉及定义合适的任务、构建相关的数据集，以及选择适当的评估方法。

图｜人文和社会科学代表性基准。

工程与技术领域是 LLM 的另一座试炼场，它测试模型在任务中的能力，这些任务不仅要求语言流畅，还要求逻辑严谨、功能正确，以及具有深厚的专业知识。不同于通用任务，工程应用往往存在唯一正确答案，或仅有一小部分在严格的物理定律、数学原理或语法规则下成立的合理解。在这一领域中，成功的模型需要能够像真正的工具一样运作，而不仅仅是提供语言交互。因此，工程与技术方向也产生了一系列最为复杂且成熟的评估框架。

图｜工程与技术领域代表性基准。

未来评估：更安全、更全面

随着 LLM 模型从研究原型走向现实部署，尤其是应用于医疗咨询、法律推理、金融顾问或客户支持等高风险场景中，也同步催生了一些显著的风险，如幻觉生成、偏见输出、对抗性脆弱性以及隐私泄露等问题。这些风险已不再停留在理论层面，而是对用户、组织乃至整个社会产生了切实影响。

因此，风险与可靠性评估已从边缘议题演变为现代 LLM 基准测试体系的核心支柱，其核心动因包括：

• 识别与量化：系统性地探测 LLM 的各种负面影响模式（如生成有害内容、虚构事实 、泄露私人数据），并量化这些风险的发生频率与严重程度。这需要在多样化且具有挑战性的输入下进行测试，包括极端情况、对抗性提示和边缘案例（如越狱尝试 、带偏见的提示 、高事实密度的查询）。
• 风险缓解：利用基准测试揭示的弱点推动开发者进行技术改进（如更鲁棒的 RLHF、事实性增强、隐私保护训练），并为部署方提供更有效的防护措施（如内容过滤、使用政策）。最终目标是尽量降低模型出错或造成伤害的可能性。
• 符合期望：检验模型在复杂的现实交互中，是否能够遵守既定的伦理规范、法律边界与安全标准（即对齐问题），特别是在涉及敏感话题时展现出足够的鲁棒性。
• 构建与维持信任：通过提供严谨、可复现的风险评估证据，向用户、监管机构和社会传达某一 LLM 的安全性与可信度，从而推动生态系统健康发展，实现负责任的广泛应用。

本质上，该研究方向所关注的核心问题是：在具备令人惊叹的能力之外，模型是否足够安全、可靠，且值得信赖？它旨在为模型的责任担保提供实证基础，作为 LLM 从实验室走向现实世界的关键“安全检查点”。

LLM Agent 是基于基础 LLM 构建的自主系统，旨在超越静态的提示-响应交互，并参与以目标为导向的行为。通过整合规划模块、工具使用能力、记忆系统和观察循环等组件，这些 Agent 能够将复杂目标分解为可执行的步骤，与外部环境进行动态交互，并不断迭代调整其策略直至任务完成。

随着 LLM Agent 在现实场景中的应用日益增加，构建系统化、全面性的评估框架变得尤为重要，评估框架主要包括以下四个维度：

• 特定能力评估，侧重于对单一功能（如规划、推理、博弈）以及执行能力（如工具使用、外部控制）的细粒度评估。
• 综合能力评估，强调在解决复杂任务过程中多种能力的协调与协同。
• 领域专业性评估，侧重于评估在特定专业领域中应用专门知识并完成任务的有效性。
• 安全与风险评估，关注 Agent 在对抗性或不安全场景中的韧性、脆弱性及防护机制。

总而言之，要让模型真正融入社会技术系统，评估的重点必须从“模型能做什么”转向“模型应如何负责任地表现”。

未来的基准需要具备动态性（以匹配模型演进）、因果性（用于解释结果）、包容性（避免偏见）以及鲁棒性（预判风险）。

实现这一目标，需要跨学科力量的深度协作，在保持技术科学性的同时，也确保与社会价值体系的高度一致。