要把记忆做成基础模型的内禀能力,模型才能持续积累并使用信息。MemT-1.0把记忆内化进模型计算,而不是继续把历史堆进KV Cache或外挂检索。它基于Metis,采用Gated DeltaNet-2,在每一轮内做稳定的token级记忆更新,并引入Mixture-of-Storage扩展原生记忆容量。骨干准备之后,训练分为持续预训练与后训练两阶段,使用34B token数据,配套高效训练与推理基础设施,并发布MemT-1.0-Nano与MemT-1.0-Flash。
架构怎么把记忆写进计算
MemT-1.0的设计目标是让记忆成为计算的一部分。Gated DeltaNet-2承担回合内、token级、且强调稳定的记忆更新;Mixture-of-Storage用来放大原生记忆容量。材料没有给出门控规则、存储专家如何路由、以及与Metis的逐层差异,因此只能确认三点:更新粒度是token级、发生在每一轮内部、容量扩展走混合存储。两阶段训练建立在「有意的骨干准备」之上,但骨干如何选择、如何改造,摘要并未说明。
评测说了什么、没说什么
综合评测同时覆盖记忆能力与通用能力。结论是平均优于参数记忆基线,与检索增强方法保持竞争力,同时大体保住通用能力。效率方面,历史长度为128K token时,MemT-1.0-Nano相对完整上下文KV cache,端到端推理约快1.86倍,持久存储减少约66倍。智能体侧,通过内化检索到的程序性经验,任务成功率有提升。这些数字全部来自摘要,没有分项基准名、没有Flash对应数字,也没有说明加速是否包含检索开销。
我的判断
价值在于把长历史记忆从系统外挂收束成模型计算问题,并给出可核对的加速与存储压缩,同时触及智能体任务成功率。对关注KV成本与长对话的团队,这是一份有对照意义的架构样本。适用边界应收紧:现有信息主要支持Nano在128K历史上相对全量KV的效率,以及相对参数记忆和检索增强的平均竞争力,不能外推到任意长度或断言全面替代检索增强。局限同样清楚——参数量、数据配比、分项分数、遗忘与污染机制均未给出;Mixture-of-Storage的路由开销与稳定性未知。这是朝memory-native evolution迈出的一步,但是否真能持续积累信息,仍取决于完整实验与开源权重。现阶段更适合阅读和对照,而不是直接替换生产记忆方案。