zip2zip++提出推理时近无损token压缩方法

Saibo Geng 等作者发布 zip2zip++，一种在推理时压缩 token 的方法。该研究称，通过改进压缩层与 LZW 编解码器，可在不修改预训练语言模型的前提下，把 zip2zip 与未压缩基线之间的质量差距缩小约一半，同时保持相近压缩比。 研究识别出共享嵌入冲突、RoPE 位置处理、数字合并损伤准确率、动态词表分割歧义四个问题，并分别提出解耦输入/输出动态嵌入层、size-aware RoPE 和改进 LZW 编解码器。作者称质量差距并非压缩的必然代价。相关结论来自论文，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。