跳到正文
热点事件持续更新

DeltaNet 固定矩阵状态实现常量内存召回

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

2026年10月3日,arXiv cs.LG 发布一项研究:用带固定 token 键偏置的小型 DeltaNet 变体,在 32 KiB 循环矩阵状态下记忆每序列 32 对新键值对,三个训练种子平均准确率达 99.95%。将查询前上下文填充至 1,798 tokens 时召回仍近乎完美,而将首个记忆块置零会消除该召回。参数匹配的向量与 Transformer 基线仍接近随机水平,因此无法进行内存效率对比。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. arXiv:cs.LG(机器学习,全量分类)
    DeltaNet 固定矩阵状态实现常量内存召回:32 KiB 状态达 99.95% 准确率

    一项研究用带固定 token 键偏置的小型 DeltaNet 变体,在 32 KiB 循环矩阵状态下记忆每序列 32 对新键值对,三个训练种子平均准确率达 99.95%。填充内容将查询前上下文延长至 1,798 tokens 时召回仍近乎完美,而将首个记忆块置零会消除该召回。参数匹配的向量与 Transformer 基线仍接近随机水平,导致无法进行内存效率对比。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。