跳到正文
热点事件持续更新

EncBank:复用LLM低层做文档编码缓存

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Hanzuo Liu 等作者提交预印本论文,提出 EncBank 方法:把预训练 LLM 的低层当作可复用的文档编码器,将其输出紧凑存储,供适配后的上层读取器在多个查询间复用。 作者称,在三个 Qwen 主干、五个基准套件上,4-bit 存储使各基准总分与原生精度差距在 1 分以内;在 Qwen3-8B 负载中,持久 GPU 存储占用仅保留 28.1%。 论文发布在 arXiv cs.CL 分类下,上述效果均为作者自述,尚待独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv:cs.CL
    EncBank:在 LLM 查询间复用编码器,实现紧凑可复用记忆

    EncBank 将预训练 LLM 的下层作为可复用文档编码器,紧凑存储其输出供适配后的上层读取器使用。在三个 Qwen 主干、五个基准套件上,4-bit 存储使各基准总分与原生精度差距在 1 分以内,并在 Qwen3-8B 负载中仅保留 28.1% 的持久 GPU 存储占用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。