现有代码智能体评测多盯着打补丁或找漏洞，很少问更硬的问题：智能体能否根据缺陷规格，在真实仓库里实现分析器相关逻辑，并靠编译与分析反馈把检查器改到能用。CheckerBench 把这一长程过程做成可执行基准，含 300 个任务，源自 297 个 CVE、167 个仓库、85 个 CWE 与五种语言生态。在 21 组模型与 harness 配置、每组三次独立重复下，平均 Pass@1 为 32.30%，最好为 45.33%。作者据此认为，可靠、可复用的检查器开发对当前编码智能体仍然困难。
评测缺口：从补丁到可运行检查器
静态分析检查器合成要求智能体解读缺陷说明、检视仓库、实现特定分析器逻辑，再通过反复编译与分析反馈迭代。现有编码智能体基准多覆盖补丁生成或漏洞检测，很少评估智能体能否在仓库中从脚手架出发、把检查器做到真正可工作。每个任务提供漏洞修订与修复修订、钉死的分析环境以及检查器脚手架，把写规则从开放式生成收束为可复现的开发闭环。
规模、协议与结果
配套框架 CheckerLab 会独立重建提交的检查器，并测量漏洞版本与修复版本上的诊断对比、补丁定位、误报以及工具使用。任务覆盖 297 个 CVE、167 个仓库、85 个 CWE 和五种语言生态，共 300 题。跨 21 种模型-harness 配置、每种三次独立重复，均值 Pass@1 为 32.30%，最高 45.33%。即便有脚手架和环境锁定，稳定写出可复用检查器仍远未解决。
我的判断
这套基准的价值，是把智能体能力从会改代码推进到会写可执行的静态分析规则，并用独立重建和漏洞修复对照压掉口头通过。对代码智能体与程序分析工具链的研究者，它比常见补丁基准更贴近智能体能否生产可复用工具。适用边界应收紧：摘要未给出分模型、分语言或失败类型，也未定义通过的具体判定阈值，不能据此声称某类模型已可替代人工写检查器。局限同样明显，材料未讨论公开 CVE 是否带来记忆优势、脚手架减少了多少探索，三次重复也只覆盖所述 21 组配置。把它当作长程智能体的压力测试是合适的；当作生产环境写规则的就绪指标，为时尚早。