EncBank:复用LLM低层做文档编码缓存
热点事件持续更新
EncBank:复用LLM低层做文档编码缓存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hanzuo Liu 等作者提交预印本论文,提出 EncBank 方法:把预训练 LLM 的低层当作可复用的文档编码器,将其输出紧凑存储,供适配后的上层读取器在多个查询间复用。 作者称,在三个 Qwen 主干、五个基准套件上,4-bit 存储使各基准总分与原生精度差距在 1 分以内;在 Qwen3-8B 负载中,持久 GPU 存储占用仅保留 28.1%。 论文发布在 arXiv cs.CL 分类下,上述效果均为作者自述,尚待独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
EncBank:在 LLM 查询间复用编码器,实现紧凑可复用记忆报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv:cs.CLEncBank:在 LLM 查询间复用编码器,实现紧凑可复用记忆
EncBank 将预训练 LLM 的下层作为可复用文档编码器,紧凑存储其输出供适配后的上层读取器使用。在三个 Qwen 主干、五个基准套件上,4-bit 存储使各基准总分与原生精度差距在 1 分以内,并在 Qwen3-8B 负载中仅保留 28.1% 的持久 GPU 存储占用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。