SSR三元矩阵乘法方法加速三值LLM推理

Adeline Pittet等作者提出稀疏分段归约（SSR），一种针对三值大语言模型（LLM）和通用三值权重网络（TWN）的三值矩阵乘法方法，通过专用三值数据格式和随稀疏度扩展的计算树利用稀疏结构。 论文称，SSR在稀疏度高于50%时理论上比RSR++具有渐近更快的推理速度，而实际评估在所有稀疏度下均有性能提升：在三值GEMM、45%–95%稀疏度区间，SSR相对RSR++取得2.1–11.3倍加速；在Llama-3 1B模型推理上，端到端加速3.5–6.3倍、内存节省4.9%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。