LRCC：低秩压缩结合条件计算

研究人员提出低秩条件计算（LRCC），在每个 Transformer 块训练一个轻量路由器，为每个 token 在少量嵌套低秩路径中选择。训练时低秩因子保持冻结，只优化路由器，从而在预训练模型上加入随 token 变化的计算。 论文称，在 batch-size-1 解码延迟相同的情况下，LRCC 在 Llama-3.2-1B 上同时改善困惑度和下游准确率，在 Llama-2-7B 上保持竞争力，且无需专用内核。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。