Arena 榜单深度解析：众包盲测如何成为 AI 评测的黄金标准

当传统基准测试面临"刷榜"困境，Arena 用真实人类投票重新定义了 AI 能力评估。

一、为什么需要 Arena？

传统基准测试的困境

在大型语言模型（LLM）飞速发展的今天，传统自动化基准测试（如 MMLU、GSM8K、HumanEval 等）正面临严峻挑战：

结果：模型在考试中拿高分，但在实际应用中表现不尽人意。

Arena 的解决方案

LMSYS Chatbot Arena（现更名为 LMArena）由加州大学伯克利分校 SkyLab 团队于 2023 年 5 月创建，联合 UCSD、CMU 等高校研究人员，采用了一种全新的评测范式：

众包 A/B 盲测 — 让真实用户成为评判者

二、Arena 的核心机制

2.1 盲测流程

用户输入 Prompt
       ↓
两个匿名模型同时生成回答
       ↓
用户对比两个回答，投票选择更好的
       ↓
投票完成后，揭晓模型身份

关键设计：

• 双盲测试：投票前用户不知道模型身份，排除品牌偏见
• 真实场景：测试数据来自用户真实对话，极难通过预训练"作弊"
• 动态更新：排行榜随用户交互实时波动，反映模型真实竞争力

2.2 数据规模（截至 2026 年 7 月）

三、Elo 评分系统：从国际象棋到 AI 评测

3.1 什么是 Elo？

Elo Rating System 最初由物理学家 Arpad Elo 发明，用于国际象棋选手排名。核心思想：

评分变化取决于对手强度

• 击败强对手 → 评分大幅上升
• 击败弱对手 → 评分小幅上升
• 输给弱对手 → 评分大幅下降

3.2 Arena 的 Elo 实现

Arena 采用 Bradley-Terry 模型（Elo 的统计学推广）来计算模型评分。

Bradley-Terry 模型原理

假设模型 A 和模型 B 对战，模型 A 获胜的概率为：

$P(A > B) = \frac{e^{\lambda_A}}{e^{\lambda_A} + e^{\lambda_B}}$

其中 $\lambda_A$、$\lambda_B$ 是模型 A、B 的"强度参数"（即 Arena Rating）。

参数估计

通过最大化似然函数，从所有对战数据中估计每个模型的 $\lambda$ 值：

$\hat{\lambda} = \arg\max_{\lambda} \prod_{i,j} P(i > j)^{w_{ij}}$

其中 $w_{ij}$ 是模型 i 击败模型 j 的次数。

3.3 评分解读

重要提示：头部模型之间的 Elo 差距通常在 10-30 分，这在统计噪声范围内。置信区间比排名更重要。

国产模型亮点：

• Kimi K3：综合榜第 9 名（1486 分），首次跻身 Top 10；Code Arena 前端编程全球第一（1679 分），超越 Claude Fable 5（1631）和 GPT-5.6 Sol（1618）
• GLM-5.2：综合榜 1458 分；Arena 智能体榜 1524 分，追平 Opus 4.8 非思考模式，成为全球唯一能与 OpenAI 和 Anthropic 最新模型同台竞技的开源模型；Design Arena 单轮 HTML 网页设计登顶第一，击败 Claude Fable 5；Code Arena 前端开发第 4 名（1587 分）
• DeepSeek V4 Pro：综合榜 1462 分，中上水平
• Qwen 3.7 Max：综合榜 1455 分，中上水平

四、置信区间：排名的不确定性

4.1 为什么需要置信区间？

Elo 评分是基于有限样本的估计，存在不确定性。置信区间反映了这种不确定性：

• 宽置信区间：投票数少，评分不稳定
• 窄置信区间：投票数多，评分可靠

4.2 计算方法

Arena 使用**自举法（Bootstrap）**计算 95% 置信区间：

1. 从对战数据中有放回地随机抽样
2. 重新计算每个模型的 Elo 评分
3. 重复 1000 次，得到评分分布
4. 取第 2.5 和第 97.5 百分位数作为置信区间

4.3 如何解读

示例（假设数据）：

解读：

• Model A 的评分有 95% 概率落在 1495-1505 之间
• Model B 的评分有 95% 概率落在 1485-1495 之间
• 由于置信区间有重叠，不能断定 Model A 一定优于 Model B

4.4 统计显著性排名

Arena 定义了统计显著性排名（Rank by UB）：

模型 A 统计显著优于模型 B，当且仅当：

$\text{CI}_{A,\text{lower}} > \text{CI}_{B,\text{upper}}$

即 Model A 置信区间的下限大于 Model B 置信区间的上限。

五、控制变量：消除混淆因素

5.1 问题：长度偏见

用户可能倾向于选择更长的回答，而非更好的回答。

5.2 解决方案：控制变量

Arena 在 Bradley-Terry 模型中引入控制变量，消除混淆因素：

5.3 改进后的模型

$P(A > B) = \frac{e^{\lambda_A + \beta^T x_{AB}}}{e^{\lambda_A + \beta^T x_{AB}} + e^{\lambda_B + \beta^T x_{BA}}}$

其中：

• $\lambda_A$、$\lambda_B$：模型固有强度
• $x_{AB}$：控制变量向量（长度差、风格差等）
• $\beta$：控制变量系数

效果：排名更接近模型真实能力，而非"谁更长谁赢"。

六、子赛道：细分场景评测

6.1 为什么需要子赛道？

不同模型在不同任务上表现差异很大。一个在对话中表现优秀的模型，可能在代码任务上表现平平。

6.2 主要子赛道

6.3 如何选择？

• 通用场景：看 Overall 榜单
• 编程助手：看 Coding 榜单
• 数学工具：看 Math 榜单
• 多模态应用：看 Vision 榜单

七、Arena 的局限性

7.1 已知问题

7.2 数据质量控制

Arena 采用多层过滤机制：

八、Arena vs 传统基准测试

九、如何使用 Arena 榜单？

9.1 选模型的正确姿势

1. 看置信区间，而非排名

   • 头部 10 名差距通常在 20 分以内
   • 选择置信区间窄、投票数多的模型

2. 看子赛道，而非综合

   • 根据你的使用场景选择对应子赛道
   • 编程选 Coding，数学选 Math

3. 看趋势，而非单点

   • 关注模型评分的变化趋势
   • 新模型上线后观察 1-2 周再评估

9.2 官方资源

十、总结

Arena 的核心价值

1. 真实性：基于真实用户对话，而非预设测试集
2. 抗刷榜：盲测机制 + 动态题目，难以针对性优化
3. 全面性：覆盖多种场景和语言，反映模型综合能力
4. 透明性：开源代码 + 公开数据，可复现可验证

未来展望

• 多模态扩展：从文本到图像、视频、音频
• 垂直领域：医疗、法律、金融等专业领域评测
• 长期记忆：评估模型在多轮对话中的表现
• 安全性评测：加入有害内容检测、偏见评估

附录：关键公式汇总

A.1 Bradley-Terry 模型

$P(A > B) = \frac{e^{\lambda_A}}{e^{\lambda_A} + e^{\lambda_B}}$

A.2 带控制变量的扩展

$P(A > B) = \frac{e^{\lambda_A + \beta^T x_{AB}}}{e^{\lambda_A + \beta^T x_{AB}} + e^{\lambda_B + \beta^T x_{BA}}}$

A.3 置信区间（自举法）

$\text{CI}_{95\%} = [\text{Percentile}_{2.5}, \text{Percentile}_{97.5}]$

A.4 统计显著性

$\text{Model A} \succ \text{Model B} \iff \text{CI}_{A,\text{lower}} > \text{CI}_{B,\text{upper}}$

参考资源：

• LMArena 官网
• Arena-Rank 开源代码
• CompassArena 中文评测
• LMSYS 论文：Chatbot Arena