正在加载页面内容
ProgramBench
200 实例, Claude-Code 2.1.156, reasoning_effort=max, 400K 上下文ProgramBench 评估代码生成 Agent 是否能仅根据已编译二进制和文档复刻程序行为。它包含 200 个任务，从小型 CLI 工具到 FFmpeg、SQLite 等大型系统；提交结果通过 248000+ 个 fuzz 生成的行为测试，与原始二进制输出进行对比。任务不给源码、反编译结果或互联网访问，要求 Agent 自行选择语言并从零实现完整程序。
编程官方网站
| # | 模型 | 得分 (%) | 厂商 | 来源 | |
|---|---|---|---|---|---|
| 1 | 71.9 | Anthropic | GLM-5.2 技术报告 | ||
| 2 | 70.8 | OpenAI | GLM-5.2 技术报告 | ||
| 3 | 63.7 | 智谱AI | GLM-5.2 技术报告 | ||
| 4 | 53.6 | 月之暗面 | Kimi K2.7 Code 发布页 | ||
| 5 | 52.1 | Anthropic | Seed2.1 官方评测报告 | ||
| 6 | 50.9 | 智谱AI | GLM-5.2 技术报告 | ||
| 7 | 50.3 | 字节跳动 | Seed2.1 官方评测报告 | ||
| 8 | 49.4 | 字节跳动 | Seed2.1 官方评测报告 | ||
| 9 | 48.3 | 月之暗面 | Kimi K2.7 Code 发布页 | ||
| 10 | 47.8 | 深度求索 | GLM-5.2 技术报告 |
