仓库级软件工程500 tasks · % Resolved
SWE-bench Verified 仓库修复基准
人工核验的 500 项真实开源仓库缺陷修复测试集,检验多文件定位、补丁生成与回归验证闭环。
23 benchmarked models查看专项榜
按仓库工程修复、无污染编程、竞赛数学、工具调用 AST、视觉定位与超长上下文多针检索六大维度筛选最优模型。
基准评测套件索引(CN 参考基线)前三:deepseek/deepseek-v4-1-flash / minimax/minimax-m3-1-flash / zhipu/glm-5-3-flash;峰值标价性价比 openai/gpt-6-luna(507.8/$)。分叉预警:openai/gpt-6-2-astra 属高基准参考延迟退化,minimax/minimax-m2-flash 属高性价比黑马(非实时遥测)。
口径说明:排行、标价成本、参考延迟与基准分来自静态公开规格与参考基线(非实时网关流量,未经第三方 ZDR 审计签章的节点保持 Unverified)。
人工核验的 500 项真实开源仓库缺陷修复测试集,检验多文件定位、补丁生成与回归验证闭环。
基于最新竞赛题库动态防泄漏的算法生成、代码修复与复杂度推理基准。
考察多步代数推导、组合证明与严密约束满足能力的高难度无工具数学推理评测。
验证并行函数调用、多轮参数纠错、JSON Schema 严格对齐与不可执行任务拒答率。
覆盖工程图纸、版面表格 OCR、科学图表与 GUI 界面元素识别的跨学科多模态评测。
在 128K 至 2M 上下文中注入多组矛盾与时序更新事实,检验模型长程检索抗衰减能力。