现有物理评测多停留在固定题目、孤立子任务,或给定答案的论文复现,很少同时检验正确性与研究质量。FrontierPhysics把评测拉到端到端物理研究:智能体要自己读文献、做计划、开展研究与实验,再交出结构化结果和科学手稿。材料给出的规模是56项任务,由42位物理学家基于自身研究命题,覆盖理论、计算与实验物理共九个领域。
评什么、怎么评
每项任务要求智能体完成文献回顾、研究计划、研究与实验,并产出结构化输出与科学手稿。评价上,基准把确定性校验器与专家撰写的评分细则结合起来,同时看研究是否正确、是否达到可发表水平。这与只对固定问题或局部子任务打分不同,也不同于「给定解决方案后再复现论文」。
结果很差,短板不在知识
在22个模型、26种配置下,没有任何一种配置能通过超过46次、共168次运行。人工回看智能体轨迹后,作者认为前沿智能体的主要弱点是推理不够严谨、专家直觉有限,而不是物理知识缺口或执行错误。材料没有给出模型名单、分领域分数或「可发表」的具体阈值,因此不能据此断言某一个模型已经能独立完成物理研究。
我的判断
这项基准的价值,在于把物理智能体评测从「会不会答题」推到「能不能走完一段真实研究流程,并且结果经得起正确性与发表标准的双重检查」。对关心科研智能体的人,它更像一张能力边界图:现有材料里最好成绩仍远低于运行总数,短板被明确指向严谨推理和专家直觉。适用边界也很清楚——这是56题、九个领域、由研究者按自身工作出题的端到端基准,不是工业指标,也不是对全部物理子领域的普查。局限同样直接:摘要未披露任务难度分布、人类基线、计算预算和失败结构;「可发表」依赖专家细则,跨评审一致性如何,材料里没有。在更多细节公开前,把它读成「当前智能体还做不好完整物理研究」比读成「模型已接近物理学家」更稳妥。