循环Transformer共享内存机制研究

Giovanni Monea 等作者预训练了共享内存的循环语言模型，让模型只在第一次递归时写入 key-value cache，后续递归读取该缓存并保留一小段自身窗口，据此提出 Looped Prediction Transformer（LPT）及其混合变体。 该研究以 arXiv 论文形式发布，作者称这种共享内存方式在循环 Transformer 中意外有效。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。