#模型评测
主题「模型评测」下共有 202 篇日报,第 3 / 4 页。
2026-08-18周二2 篇AI 安全大语言模型
2026-08-17周一1 篇大语言模型
2026-08-16周日4 篇大语言模型代码智能体AI 安全多模态模型
AI 的优势未必是更会思考:超大工作记忆正在改变解题方式
一则 Hacker News 热帖将 AI 的能力优势归因于更大的工作记忆,但现有材料不足以证明其等同于更强推理。
来源:Hacker News证明通过不等于改动合规:CAPRI 为 Isabelle 修复加上编辑契约
CAPRI 将 Isabelle 验证与独立编辑契约检查结合,在保留审计记录的同时降低大模型越权修改证明文本的风险。
来源:arXiv不必固定频率重训:漂移感知恶意软件分类兼顾准确率与训练效率
研究比较三种概念漂移检测技术,发现按漂移触发重训可获得接近周期重训的恶意软件分类准确率。
来源:arXiv让多模态大模型充当视觉路由器:ARMDIL应对跨数据集分类
ARMDIL利用多模态大模型按图像动态选择视觉骨干,在异构模型之间权衡能力,并通过提示词更新路由知识。
来源:arXiv2026-08-15周六1 篇模型评测
2026-08-14周五2 篇GeminiAI 智能体
2026-08-13周四2 篇扩散模型AI 智能体
2026-08-12周三2 篇代码智能体模型评测
2026-08-11周二1 篇性能优化
2026-08-09周日4 篇模型评测AI 智能体大语言模型
能识别概念不等于影响评分:CAV审视二语口语评测系统偏差
研究将概念激活向量用于BERT与Whisper口语评分器,区分敏感属性被内部编码和是否影响预测分数。
来源:arXiv长文档 RAG 不必迷信 Top-K:可审计操作显著提升财报问答
READ 以词法搜索、结构导航和受限区间读取替代向量 Top-K,在政府财务报告问答中取得明显优势。
来源:arXiv量子时序模型仅用605个参数:心脏骤停死亡预测AUROC达0.852
QuanTiMedAI以智能体大模型筛选临床特征,结合紧凑量子循环网络,在MIMIC-IV心脏骤停队列上取得0.852 AUROC。
来源:arXiv不靠外部监督也能自我蒸馏:U-OPSD用内部一致性纠正错误
U-OPSD仅用模型自身采样和内部一致性构造伪解,在多项数学基准上达到或超过依赖真值的训练方法。
来源:arXiv2026-08-08周六4 篇教育 AIAI 安全AI 智能体视频大模型
AI 家教难点不只在答对:TutorMoments 追问何时介入与克制
从标题看,TutorMoments 关注 AI 家教能否识别恰当的辅导时机,但现有材料不足以判断其方法、数据与实验结论。
来源:Hugging Face BlogOpenAI 披露 Astra 初步网络安全评测:防护与安全控制同步加固
OpenAI 公布 Astra 的初步网络安全评测,并说明将强化防护措施与安全控制,但现有材料尚未提供具体指标和结果。
来源:OpenAI不接外部环境也能训练智能体:EnvACE用世界排演内化环境动态
EnvACE让策略同时扮演智能体与环境,以任务成功奖励联合训练,并在测试时通过私有排演辅助长程工具决策。
来源:Hugging Face Daily PapersVLM 会看局部却记不住全局:GST-Bench 暴露长视频空间推理断层
GST-Bench 用 6790 分钟合成视频检验全局空间理解,22 款 VLM 的最佳零样本得分仅为 42.68,明显落后人类。
来源:Hugging Face Daily Papers2026-08-07周五3 篇AI 智能体大语言模型
不再给整条搜索轨迹平均记功:ABSeeker细化每一步训练
ABC 从答案反推解题线索,为搜索轨迹生成步骤级奖励,让有效动作获得强化并抑制错误或冗余步骤。
来源:Hugging Face Daily Papers越会自证清白,越可能编造用户画像:12 款模型暴露个性化错觉
MirageBench 发现,受测大模型普遍推断无证据支持的用户属性,而模型自评并不能可靠反映这一风险。
来源:Hugging Face Daily PapersQwen3.8 Max 登顶智能体指数:榜首不等于全面领先
Hacker News 热帖显示,Qwen3.8 Max 在 Agentic Index 中位列整体第一,但现有材料不足以判断评测范围、分差与适用边界。
来源:Hacker News2026-08-05周三2 篇大语言模型AI 安全
2026-08-04周二4 篇模型评测扩散模型开放数据
企业文档抽取不能只看准确率:新基准同时衡量完整性、溯源与成本
ExtractBench覆盖八个业务领域,以数值准确性、记录完整性、来源溯源和实测成本共同评估企业文档抽取智能体。
来源:Hugging Face Daily Papers多参考图编辑缺的不是模型结构:EVR用评估验证奖励补齐一致性
EVR通过多维评估与视觉证据核验生成细粒度奖励,让现成图像编辑器无需改架构即可接受强化学习微调。
来源:Hugging Face Daily Papers文本条件也有缩放规律:结构化提示词降低扩散模型的收敛损失
研究发现,扩散模型的收敛损失不随提示词长度缩放,却会随结构化语言含量呈现可测规律。
来源:Hugging Face Daily Papers标注质量重写地雷检测结论:SULAND v2补齐跨域评测
SULAND v2修正原数据集的标注与OOD类别编号,并以35种配置揭示IID高分不等于跨域稳健。
来源:Hugging Face Daily Papers2026-08-02周日4 篇SWE-Bench代码智能体大语言模型科研
SWE-Bench 配对并不总可靠:PAIChecker 用多智能体核验错位
研究发现 SWE-bench Verified 中 13.6% 的样本存在 PR-Issue 错位,并提出多智能体系统分阶段核验。
来源:arXiv把合并 PR 变成可执行任务:Change2Task 扩充代码智能体数据
Change2Task 从仓库历史构造五类可验证任务,在 1,130 个候选变更上取得 79.6% 构造成功率。
来源:arXiv多想不如多采样:等 Token 成本下自我反思未能胜出
一项覆盖三种模型规模与两个数学基准的实验发现,按实际生成成本对齐后,自我反思等方法没有可靠优于重复采样。
来源:arXiv蒸馏不再照单全收:VAD只重建视觉证据支持的教师纠正
VAD通过移除视觉证据构造反事实对照,从教师纠正中分离可归因于视觉信息的部分,再重建学生训练目标。
来源:arXiv2026-08-01周六2 篇AI 智能体大语言模型
2026-07-31周五3 篇大语言模型模型评测
评测不再固定:DecoEvo让求解器与评分规则解耦共进化
DecoEvo以相互独立的目标协同优化求解器与评分规则生成器,缓解开放任务中固定评测信号失效的问题。
来源:Hugging Face Daily Papers多模态上下文学习仍未过关:CLBench-V拆解三类能力断点
CLBench-V用3443个实例评测六个多模态模型,并以三维任务定位上下文利用的具体失效环节。
来源:Hugging Face Daily Papers看得见却管不好身体:HumanCLAW拆分具身决策与运动执行
HumanCLAW用原子技能隔离底层运动误差,并以1218个长程任务揭示VLM的具身自我感知短板。
来源:Hugging Face Daily Papers2026-07-30周四5 篇GPT-5.6机器人AI 智能体大语言模型
两个 API 设置让成绩翻三倍:GPT-5.6 的评测配置启示
OpenAI 称,保留推理并启用 compaction 后,GPT-5.6 在 ARC-AGI-3 上的得分升至约三倍,效率也得到改善。
来源:OpenAI真机后训练不再是必需:HiFi-UMI仅凭高保真示范直接部署
HiFi-UMI通过提升无机器人采集的轨迹与同步精度,让策略仅用其示范完成后训练,并在真机任务上接近遥操作数据效果。
来源:Hugging Face Daily Papers智能体记忆真正的盲点:事实存得住,却未必能被问题唤起
InMind 用125项任务拆分存储、知识桥接与检索失败,显示六个记忆系统在隐式关联查询上仍有明显断层。
来源:Hugging Face Daily Papers学生推理走偏后让教师短暂接棒:Relay-OPD减少无效训练轨迹
Relay-OPD在错误前缀处触发教师短暂接管,再交还学生,以有限干预提升数学推理蒸馏效果,并将训练轨迹长度削减过半。
来源:Hugging Face Daily Papers代码智能体不必反复寻找上下文:CodeNib统一仓库多视图服务
CodeNib按提交构建可复用的仓库视图,在更新、导航延迟与上下文令牌消耗之间给出明确的质量成本边界。
来源:Hugging Face Daily Papers2026-07-28周二4 篇AI 智能体大语言模型
会看三维场景不等于会行动:SceneActBench揭示智能体能力断层
SceneActBench以统一智能体—环境循环评测五类三维任务,11种专有VLM配置总体得分为38.6至50.2,且无一跨任务稳定。
来源:Hugging Face Daily Papers多语检索不只看相关性:LAMAR将查询语言一致性纳入重排
LAMAR通过相关性蒸馏与偏好对齐,让多语重排兼顾语义相关性和查询—文档语言一致性。
来源:Hugging Face Daily Papers研究创意不该只追质量或多样性:IDEAgent用谱系搜索兼顾两者
IDEAgent将科研构思建模为质量—多样性联合搜索,通过谱系演化、反馈修复和记忆比较提升有效创意产出。
来源:Hugging Face Daily Papers技能自博弈找到中间路线:让任务生成、求解与技能库共同进化
Skill-SP 让出题者、求解者与技能控制器在强化学习循环中共同进化,以技能路由兼顾任务多样性和反馈可靠性。
来源:Hugging Face Daily Papers2026-07-25周六7 篇Claude教育 AI机器人AI 安全
Claude Opus 5 登上热榜:高关注不等于技术结论
Claude Opus 5 在 Hacker News 获得大量关注,但现有材料未披露能力、评测与产品细节,暂不宜作性能判断。
来源:Hacker News教育大模型不只会做题:K12-KGraph开始评测课程认知
K12-KGraph将教材结构与视觉信息整理为知识图谱,并构建配套评测和训练集,暴露模型在先修关系与知识邻接上的短板。
来源:Hugging Face Daily Papers先指认目标再持续跟踪:ReferTrack 用单目视觉推进具身追踪
ReferTrack 将语言指代落到图像边界框,再结合目标历史轨迹生成路点,在单目具身视觉追踪基准上取得领先结果。
来源:Hugging Face Daily Papers别急着相信“失控黑客智能体”:现有材料只说明争议很热
一则质疑 OpenAI“失控黑客智能体”叙事的文章登上 Hacker News 热帖,但仅凭标题与讨论热度,无法判断事件真相和系统能力。
来源:Hacker News空间推理不必先翻译成文字:ProVisE 用生成像素统一评测
ProVisE 让图像生成模型直接在像素空间作答,再转换为结构化预测,以缓解空间任务中的答案接口错位。
来源:Hugging Face Daily Papers无需外部教师也能制造监督差异:VCSD用视觉对照强化自蒸馏
VCSD通过比较原图与内容擦除图的下一词分布构造监督,在Qwen3-VL多个规模上优于匹配的在策略自蒸馏基线。
来源:Hugging Face Daily Papers只用 RGB 视频补足三维感知:VLM-IE3D 融合两类几何表征
VLM-IE3D 从 RGB 视频提取隐式与显式几何 token,并通过三维感知适配器融合二维线索,面向多类三维理解任务。
来源:arXiv2026-07-24周五1 篇模型评测
2026-07-22周三4 篇Gemini模型评测物理 AI视频大模型
三款 Gemini Flash 一并公布:命名分层清晰,实际能力仍待验证
Google 同时公布三款 Gemini Flash 系列模型,社区讨论热烈,但现有材料未提供性能、价格与可用性细节。
来源:Hacker News模型评测也成了安全现场:OpenAI 与 Hugging Face 联合复盘事件
OpenAI 与 Hugging Face 披露模型评测期间安全事件的早期发现,重点关注高级网络能力及防守经验。
来源:OpenAIRynnBrain 1.1走向真实操控:统一三维理解与跨机器人训练
RynnBrain 1.1覆盖三档模型规模,新增接触点预测与原生三维定位,并在三类机器人上验证联合训练的收益。
来源:Hugging Face Daily Papers不只看懂视频,还要指出证据在哪:TimeLens2统一多时段定位
TimeLens2将视频证据建模为区间集合,以多跨度监督和时序Wasserstein奖励改进通用视频时序定位。
来源:Hugging Face Daily Papers没有匹配的日报,换个关键词试试。