前沿模型排名基于 Bradley-Terry / Elo 配对评分算法，通过对各基准测试中的模型表现进行两两比较来计算综合评分。 以下详细说明计算方法、数据来源及已知局限性。
算法
我们将各基准中的排名转换为两两胜负关系，再用 Bradley-Terry 模型拟合 Elo 标尺上的相对强度，核心思路是：
- 在每个基准测试中，对所有参赛模型按成绩排序，生成两两配对（成绩高的为胜方）
- 基准通常按 1.0 权重计入；只有一个或没有有效数据源的基准按 0.5 权重计入。Arena.ai 汇总了大量真实用户投票，因此不受这项降权影响
- 相同成绩按平局处理，胜负矩阵加入 0.5 平滑，避免小样本或全胜模型产生无穷评分
- 模型间预期胜率仍使用 Elo 的逻辑函数：
E = 1 / (1 + 10^((R_对手 - R_自己) / 400)) - 使用全部配对结果进行批量迭代拟合，直到收敛或达到 500 轮上限
- 每个连通分量以 1500 为中心，避免无直接比较的模型组互相产生虚假的绝对差距
关键特性
- 赢强对手贡献更大，赢弱对手贡献更小
- 参加少量基准也能获得合理评分（不受数据覆盖量主导）
- 来源较少的基准仍参与排名，但对最终结果的影响会降低
- 仅依据成绩排名，不参考分数差距
- 计算不依赖随机种子或配对处理顺序
数据来源
所有评分数据来自各厂商发布的技术报告和公开基准评测结果，包括但不限于：
- Anthropic、OpenAI、Google、智谱AI、阿里巴巴、深度求索等厂商的官方技术报告
- ModelScope 等开源平台发布的评测数据
- 每个基准测试只取每个模型的最佳成绩（跨多个数据来源）
- “有效数据源”指同一独立来源中至少包含两个已收录、可参与排名的模型；同一来源的重复快照只计一次
已知局限性
选择偏差
厂商通常只报告其模型表现优异的基准测试结果。如果某模型仅参加它擅长的比赛，其评分可能偏高。
不区分分差
Elo 只看排名先后，不参考分数差距。以 0.1% 险胜和以 50% 碾压获得的加分相同。
同名基准口径差异
不同报告中的同一个基准名称，可能采用不同的评测标准、提示模板、评判模型、抽样子集或执行设置。本站会尽量保留来源信息，但跨报告合并后仍不能保证这些结果处于完全相同的测试条件下，因此同名基准的横向比较可能存在偏差。
可靠性权重较粗
当前只根据有效数据源数量采用 0.5 或 1.0 两档权重，无法完整衡量评测的样本规模、方法质量、评判模型、覆盖范围和任务相关性。Arena.ai 的豁免也仅基于其聚合大量真实用户投票这一数据形态。
领域不可比性
不同领域的基准难度和参赛者水平不同，跨领域的绝对评分不宜直接比较。
数据时效性
缓存每 10 分钟检查一次新数据，排名可能存在短暂延迟。
免责声明
排名仅供参考。模型实际表现取决于具体使用场景、任务类型、提示词工程等多种因素。 本排名仅反映在已收录的基准测试中的相对表现，不代表模型在所有场景下的综合能力。 建议结合自身需求参考多方评测进行判断。