#模型评测
主题「模型评测」下共有 202 篇日报。
2026-11-21周六5 篇大语言模型模型评测基准测试扩散模型
Hebbia评测GPT-6 Astra:金融研究来源覆盖、引用与呈现质量提升
OpenAI客户故事称,Hebbia对GPT-6 Astra的预发布评测发现,金融研究在来源覆盖、引用相关性和呈现质量上有提升,但未披露量化细节。
来源:OpenAIAI 能否帮科学家识别有前景的药物候选:OpenAI 推出 MedChemBench
OpenAI 发布 MedChemBench,评估 AI 模型在早期药物发现中解读分子结构、从实验证据推理并选择化合物的能力。
来源:OpenAI单视角过关带不到闭环:诊断基准把机器人失败拆成脑与手
以三十个仿真任务和三个视角,诊断具身操作失败来自认知、执行还是组合,并显示单视角能力无法带到闭环。
来源:Hugging Face Daily Papers避开反向KL寻峰:PMD用倾斜均值覆盖教师完整后验
PMD用指数重加权均值匹配教师后验,避免反向KL寻峰,声称零损失时恢复完整条件分布,并在SDXL与FLUX.2四步方法中自称FID最佳。
来源:Hugging Face Daily Papers开源全模态视频新标杆:WeMM-Video 9B 反超更大开源模型
WeMM-Video 发布 2B 至 35B 中英双语全模态模型,统一音视频理解与混合思考;35B 刷新开源纪录,9B 反超更大开源模型。
来源:Hugging Face Daily Papers2026-11-19周四2 篇AI 智能体代码智能体
2026-11-18周三3 篇大语言模型模型评测多模态模型
法律智能评测称第一:Astra for Law覆盖24领域,企业客户可申请
OpenAI称Astra for Law在跨越24个法律领域的发布评测中排名第一,所有ChatGPT Enterprise客户现可申请访问。
来源:OpenAI九格只填三格:医疗模型总分最高49.1,沟通一律强于决策
InclusionMed从388个候选选出4个公开基准并加入私有DxFiles,5项仅覆盖九格中三格;Index为17.5至49.1,前十沟通均强于决策。
来源:Hugging Face Daily Papers科学证据与可验证执行并重:3200亿Sage Flash的评测位置
3200亿参数通用MoE用专用编码器处理分子图、生物序列与光谱,并在可验证环境中训练智能体;办公与机器学习基准名次靠前。
来源:Hugging Face Daily Papers2026-11-17周二2 篇科研代码智能体
2026-11-14周六4 篇AI 智能体多模态模型基准测试模型评测
演得差也能当好老师:决策模型在长程智能体里的三种角色
演得差也能当好老师。演员会被更容易的子目标带偏,全轨迹评委能给关键步骤记功;JEV把1.5B成功率分别提到82.9%与71.4%。
来源:Hugging Face Daily Papers开源复现生成式视觉感知:OVB 用编辑任务统一多任务视觉
OVB 给出把开源图像生成器转为多任务感知的可复现配方,Cityscapes 零样本 73.9 mIoU,并保留编辑能力。
来源:Hugging Face Daily Papers总分第一可靠性仅排第七:SO-Arena 揭示 System One 决策短板
SO-Arena 从能力谱与决策可靠性评测 System One:11 个领域、21 个模型显示,缩放收益因领域而异,总分最高者可靠性仅排第七。
来源:Hugging Face Daily Papers信息不足只能保守记录:Allen AI推出XYBench,标题指向处理问题背后的问题
二〇二六年十一月十三日,Hugging Face博客发布Allen AI的XYBench。给定材料无摘要,无方法与结论,仅标题提及帮助处理问题背后的问题。本文只记录已知边界,不做延伸推断。
来源:Hugging Face Blog2026-11-13周五2 篇大语言模型
2026-11-12周四4 篇多模态模型应用架构模型评测大语言模型
紧凑离散词表可当视觉通用货币:dNaViT 对齐专用基线
dNaViT 基于冻结编码器、残差调制和分组乘积量化生成离散视觉码,并在十二个理解、四个生成及一个编辑基准上对齐或超过专用基线。
来源:Hugging Face Daily Papers五亿用户规模的内容发现:JioStar谈评测、护栏与生产落地
OpenAI发布对JioStar首席架构师的访谈:在约五亿用户规模做AI发现,经验集中在评测、护栏和生产落地三条线上。
来源:OpenAI常识题能打、选项一缠就崩:MMDM把28个决策模型测出了落差
MMDM以5448题、16类任务评System-1决策模型,选项最多1024、上下文最长逾6万token;模型常识尚可,逻辑与多选明显偏弱。
来源:Hugging Face Daily Papers离散优化改BF16权重:Tree-Ising修循环推理超过智能体
Tree-Ising把循环修补做成按行QUBO,MATH-500到54.6%,高于智能体的51.7%,权重改动少13%–17%。
来源:Hugging Face Daily Papers2026-11-10周二2 篇大语言模型代码智能体
2026-11-07周六4 篇语音 AI多模态模型机器人AI 智能体
公开信息仅剩标题:埃及与尼日利亚英语加入开放语音识别榜
来源为 2026 年 11 月 6 日 Hugging Face 博文。标题称埃及英语与尼日利亚英语加入 Open ASR 排行榜。无摘要、协议与分数,本稿仅据标题保守撰写。
来源:Hugging Face Blog多轮修图漂移不必重训:TailSteer把保真修正压到轨迹尾部
TailSteer将保真修正集中在去噪轨迹尾部,无需精标编辑对,即可显著降低15–20轮累计漂移,并大体保留基座生成与单轮编辑能力。
来源:Hugging Face Daily Papers仅凭标题:ToyBlocks被定位为机器人学习与评测的受控世界
Hugging Face介绍ToyBlocks,标题称其为机器人学习与评测的受控世界。无摘要,本稿仅按标题保守转述。
来源:Hugging Face BlogOpenAI发布百任务湿实验基准:检验智能体如何解读原始数据
OpenAI发布面向日常湿实验的百任务基准,衡量AI智能体解读原始实验数据与处理实验室日常科学工作的能力。
来源:OpenAI2026-11-06周五1 篇强化学习
2026-11-04周三2 篇机器人多模态模型
2026-10-31周六2 篇扩散模型多模态模型
2026-10-29周四1 篇多模态模型
2026-10-28周三1 篇AI 智能体
2026-10-27周二1 篇科研
2026-10-24周六1 篇AI 安全
2026-10-23周五3 篇大语言模型模型评测物理 AI
预测提升47%、合用只剩17%:RAG技巧不能按单点收益做加法
八个基准、五千至二十万文档上测450组配置:单独有效未必能叠加,优化检索可能伤忠实度,最优组合随语料变大而改变。
来源:Hugging Face Daily Papers跟指令仍是短板:StreamEval 评测交互式流式视频生成
StreamEval 用 300 条脚本用例评测五类交互式流式视频任务,37 个模型显示高画质与身份保持并不能保证可靠执行请求和状态一致。
来源:Hugging Face Daily Papers虚拟世界持续预训练缩放:数据提升本域,多样性难跨远域,大模型单世界更差
作者用120组持续预训练配置,沿数据量、多样性和模型规模考察虚拟世界具身智能体,发现本域可缩放、近域可迁移,远域泛化仍然受限。
来源:Hugging Face Daily Papers2026-10-21周三1 篇大语言模型
2026-10-20周二1 篇代码大模型
2026-10-18周日1 篇科研
2026-10-17周六1 篇基准测试
2026-10-16周五2 篇基准测试
2026-10-12周一1 篇大语言模型
2026-10-10周六2 篇科研代码智能体
2026-10-09周五1 篇代码智能体
2026-10-08周四1 篇代码智能体
2026-10-07周三3 篇大语言模型AI 智能体基准测试
热度不能当评测:Mistral Large 4在HN拿下近千评论
Mistral发布Large 4,HN热帖1590分、964评论;材料几乎只有标题和热度,尚不能判断能力与适用边界。
来源:Hacker NewsOpenAI 联手 Ironclad:用复杂合同流程推进专业计算机使用
OpenAI 与 Ironclad 在复杂合同工作流上训练并评测智能体,试图把计算机使用从通用操作推进到专业工作,公开细节有限。
来源:OpenAI名义完成率掩盖恢复失败:UndoBench拆开智能体能力与故障恢复
现有基准把规划与故障恢复混在一起。UndoBench显示名义能力83.54%,条件恢复成功率仅46.72%,盲目重试过半会产生重复副作用。
来源:Hugging Face Daily Papers2026-10-02周五1 篇多模态模型
2026-10-01周四4 篇基准测试AI 智能体大语言模型模型评测
跨会话记忆难三边兼顾:APM-Bench评第一人称流式助手
APM-Bench以549会话、104轨迹评测第一人称流式助手的跨会话持久记忆,现有方法仍难同时做到可靠召回与低开销。
来源:Hugging Face Daily Papers最强前沿模型仅得44.3分:专业工程跨软件成功率3.6%
EngiWorld含1301项任务、六领域26款软件;七个前沿模型最强仅44.3分,跨软件成功率3.6%,专业设计闭环仍难自动化。
来源:Hugging Face Daily Papers平均分会掩盖周期性弱区:分块KV压缩下检索可差40个百分点
分块KV压缩引入相位,同一信息检索难度随窗口位置周期性变化;开源大模型上准确率可差最多40个百分点,平均分数会掩盖弱区。
来源:Hugging Face Daily Papers信息有限下的新动态:Hugging Face 推出开放 TTS 排行榜,聚焦多语言与声音克隆评测
Hugging Face 博客宣布 Open TTS Leaderboard,旨在为多语言文本转语音与声音克隆提供可扩展评测,细节有限仅据标题梳理。
来源:Hugging Face Blog2026-09-26周六1 篇AI 治理
没有匹配的日报,换个关键词试试。