#基准测试
主题「基准测试」下共有 159 篇日报,第 2 / 3 页。
2026-10-01周四3 篇基准测试AI 智能体模型评测
跨会话记忆难三边兼顾:APM-Bench评第一人称流式助手
APM-Bench以549会话、104轨迹评测第一人称流式助手的跨会话持久记忆,现有方法仍难同时做到可靠召回与低开销。
来源:Hugging Face Daily Papers最强前沿模型仅得44.3分:专业工程跨软件成功率3.6%
EngiWorld含1301项任务、六领域26款软件;七个前沿模型最强仅44.3分,跨软件成功率3.6%,专业设计闭环仍难自动化。
来源:Hugging Face Daily Papers信息有限下的新动态:Hugging Face 推出开放 TTS 排行榜,聚焦多语言与声音克隆评测
Hugging Face 博客宣布 Open TTS Leaderboard,旨在为多语言文本转语音与声音克隆提供可扩展评测,细节有限仅据标题梳理。
来源:Hugging Face Blog2026-09-30周三1 篇性能优化
2026-09-26周六4 篇AI 智能体AI 治理物理 AI视频大模型
规划别和写答案绑死:IterSynth用滚动摘要做深度搜索
将规划与综合解耦,用滚动摘要作搜索状态,并以RDPO训练。8B模型五项长程深度搜索基准平均50.7,较此前最强不超过8B的智能体高4.2%,也可零样本用于闭源模型。
来源:Hugging Face Daily Papers机密估算称NSA砸数十亿测模型:公开材料只剩标题与热度
HN热帖称机密估算显示NSA为测AI模型支付数十亿美元;已知仅标题与169分、101评,无正文与估算口径。
来源:Hacker News用认知科学任务训练物体恒存:16B世界模型续写第一、总榜第三
WROP含150项认知任务与150万样本;16B模型PWM-WROP在300题盲测Elo中列续写第一、总榜第三。
来源:Hugging Face Daily Papers长视频生成卡在剧本:WanPE用反向构建做导演级提示增强
WanPE以3970亿参数在105万视频上做导演级分镜规划,用反向构建与SC-GRPO增强提示,接入Wan3.0后30秒人偏好大幅提升。
来源:Hugging Face Daily Papers2026-09-25周五1 篇AI 智能体
2026-09-24周四2 篇AI 智能体科研
2026-09-23周三5 篇应用架构基准测试大语言模型AI 智能体
别再让规则抽取打散企业文档:D-RAC用PDF归一化和一次多模态转换切块
D-RAC将Word、幻灯片、扫描件等先归一为PDF,经一次多模态转换得到检索优化Markdown,再按标识符做确定性切块,避免版式被抽坏,也避免全文智能体切块的高成本与幻觉。
来源:Hugging Face Daily Papers旧基准三缺:GameHorizon用5000小时AAA数据做多尺度评测
针对覆盖窄、缺指令和高方差在线评测,GameHorizon提供多尺度标注、5000小时AAA对齐数据及离线在线双轨基准。
来源:Hugging Face Daily Papers不必整段重写:onPanda以token级纠正生成on-policy对齐数据
onPanda用定位首个不当token、替换或改写后截断续写的循环标注对齐与智能体轨迹,小规模对照显示中位时间降52%。
来源:Hugging Face Daily Papers给智能体 harness 加正则:RRSI 约束自进化以减轻过拟合
RRSI 把正则化引入智能体 harness 递归自改进:限制提案改动量、筛掉基准特化修改,试图在进化切分之外保住增益。
来源:Hugging Face Daily Papers视频生成智能体学会调度工具:VABench上比基座高19.1分
用多任务强化学习训练视频生成智能体调用增强、生成与校验工具,VABench上从56.5提到75.6,升级生成工具后到86.1。
来源:Hugging Face Daily Papers2026-09-13周日2 篇TransformerAI 智能体
2026-09-11周五2 篇视频大模型模型评测
2026-09-06周日1 篇模型评测
2026-09-04周五3 篇AI 智能体
智能体竞争转向工具链:HarnessDev评估模型能否构建并进化执行框架
HarnessDev把评测对象从任务答案转向可运行的智能体执行框架,考察模型创建和迭代工具链的能力及成本。
来源:Hugging Face Daily Papers智能体评测可以提前收场:EarlyEval在结果显现时终止任务
EarlyEval通过中间行为预测智能体成败,在保持较高准确率的同时减少执行步数与上下文消耗,降低重复评测成本。
来源:Hugging Face Daily Papers把代码库蒸馏成可复用技能:DisCo补上科研智能体的操作知识层
DisCo将机器学习代码库中的操作知识压缩为经验证技能,在固定模型与预算下提升多项科研基准表现。
来源:Hugging Face Daily Papers2026-09-03周四1 篇教育 AI
2026-09-02周三1 篇大语言模型
2026-09-01周二1 篇科研
2026-08-29周六1 篇模型评测
2026-08-28周五3 篇模型评测强化学习
视频生成离真正世界模型还有多远:PAWBench检验概率对齐
PAWBench把世界模型评测从单条视频是否合理推进到重复生成的分布是否正确,结果显示现有系统仍难同时覆盖多种有效行为并匹配参考概率。
来源:Hugging Face Daily Papers离策略强化学习不该一套稳定器打天下:WarpSAC按数据规模切换策略
WarpSAC针对数据受限与数据充足场景调整归一化和Q估计策略,在CPU与GPU并行训练中分别取得更高学习效率。
来源:Hugging Face Daily Papers视频生成模型会推理吗:VGI-Bench用27项任务检验视觉智能
VGI-Bench针对视频生成模型的视觉推理能力设计27项任务,结果显示当前系统虽能解决部分任务,但整体可靠性仍明显不足。
来源:Hugging Face Daily Papers2026-08-27周四1 篇多模态模型
2026-08-26周三3 篇AI 智能体推理优化
复杂任务的关键不只是推理:Apodex 1.1扩展可验证智能体能力
Apodex 1.1从环境扩展与智能体协同两方面训练长期任务能力,强调状态维护、失败恢复和可验证交付。
来源:Hugging Face Daily Papers推理芯片成为模型竞争新战场:OpenAI公布Jalapeño首批结果
OpenAI公布定制推理芯片Jalapeño的首批结果,称其在现代模型推理中兼具更高吞吐、更低延迟与更高能效。
来源:OpenAI手机智能体评测不能只看点屏:MobilePA-Bench转向真实规划约束
MobilePA-Bench以可执行沙箱、实时应用状态和212种工具,评估移动智能体在协作、记忆与技能调用中的规划可靠性。
来源:Hugging Face Daily Papers2026-08-25周二2 篇模型评测多模态模型
2026-08-23周日2 篇模型评测
2026-08-22周六3 篇AI 智能体语音 AI大语言模型
静态环境也能随智能体进化:EnvHarness用插件重塑训练场景
EnvHarness通过可编程插件改造静态环境,保留原有验证器,并利用黑盒轨迹诊断智能体弱点,自动生成更有针对性的训练环境。
来源:Hugging Face Daily Papers语音识别评测不能只看分数:关注基准优化如何影响结论
Hugging Face Blog 发布文章讨论语音识别中的基准优化问题,但材料仅提供标题,具体方法、实验与结论仍无法确认。
来源:Hugging Face Blog记忆越准确也可能越危险:MemTrapBench揭示大模型认知陷阱
MemTrapBench指出,相关且准确的长期记忆仍可能固化推理或扭曲信念,导致模型在当前任务中退化,并提出AdaptiveMem进行缓解。
来源:Hugging Face Daily Papers2026-08-21周五3 篇推理优化大语言模型视频大模型
LFM2.5-DSpark 最高提速 3.2 倍:推理收益仍需基准细节支撑
Hugging Face 博客标题称 LFM2.5-DSpark 推理最高可提速 3.2 倍,但测试配置、对照基线与指标细节均未提供,暂不宜外推。
来源:Hugging Face Blog单步逆合成不该只看唯一答案:Top-K训练覆盖更多合理路径
C3LM以约4560万条已验证反应训练,结合合理性与新颖性奖励,在分布外专家基准上取得当前最佳表现。
来源:Hugging Face Daily Papers视频生成不只看过程完整:SemComp-Bench评测结果达成与语义落地
SemComp-Bench以结构化二元问答衡量视频是否完成目标,并检验生成结果与参考图像在任务相关高层语义上的对应关系。
来源:Hugging Face Daily Papers2026-08-20周四1 篇模型评测
2026-08-19周三3 篇模型评测AI 智能体
世界模型评测不该只有分数:HarnessEval-W 构建可核验证据树
HarnessEval-W 将评测拆成可测子任务,由专门子智能体取证、父智能体验证,为世界模型生成细粒度诊断与完整证据链。
来源:Hugging Face Daily Papers不改模型权重也能达到95.3%:StateM扩展智能体运行时
StateM通过持久状态、受检转换与可恢复运行手册强化执行层,在Terminal-Bench 2.1上将GPT-5.6推至95.3%原始准确率。
来源:Hugging Face Daily Papers3D 开放世界生成仍未过关:VibeWorlding系统评测多模态智能体
VibeWorlding以资产、场景和多模态查询构建统一基准,并用沙箱与规则验证器支持评测及强化学习后训练。
来源:Hugging Face Daily Papers2026-08-18周二2 篇AI 安全性能优化
2026-08-15周六2 篇模型评测AI 智能体
2026-08-14周五2 篇GPT-5.6大语言模型
2026-08-12周三3 篇代码智能体模型评测
代码智能体评测转向大规模重构:SWE-Bench ProMax 发布
新基准以真实提交中的跨文件重构任务,检验代码智能体在七种编程语言下处理长链路工程变更的能力。
来源:Hugging Face Daily Papers不显式输出思维链也能迭代推理:BDH-CQ刷新ARC成本效率
BDH-CQ将上下文学习与循环潜空间推理结合,150M参数版本在ARC-AGI-1上以低计算成本取得29.5% pass@2。
来源:Hugging Face Daily Papers代码智能体开始改造自身:Ouroboros 用审查提交驱动核心演化
Ouroboros 以经审查的提交持续改造工具、提示词与上下文,并在三项智能体基准上报告领先成绩。
来源:Hugging Face Daily Papers2026-08-09周日2 篇性能优化应用架构
没有匹配的日报,换个关键词试试。