研究者提出AIQ量化格式实现无误差乘累加
热点事件持续更新
研究者提出AIQ量化格式实现无误差乘累加
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者提出代数整数数制(AINF)与代数整数量化(AIQ),称其可直接归约为纯整数运算,实现无误差乘累加,并据此构建了矩阵乘法引擎。 AIQ 被用于大语言模型的推理压缩:在相同 bit-per-parameter 预算下,论文称其在多种模型与基准上取得与业界标准 MX 格式相当的精度。实验仅采用二次代数整数,更高阶及多维代数整数被列为未来探索方向。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
代数整数量化(AIQ):面向 LLM 推理的无误差乘累加压缩格式报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv:cs.LG代数整数量化(AIQ):面向 LLM 推理的无误差乘累加压缩格式
研究者提出代数整数数制(AINF)与代数整数量化(AIQ),可直接归约为纯整数运算,实现无误差乘累加,并据此构建矩阵乘法引擎。AIQ 用于大语言模型推理的有损压缩,在相同 bit-per-parameter 预算下,于多种模型与基准上取得与业界标准 MX 格式相当的精度。实验采用二次代数整数,更高阶及多维代数整数留待未来探索。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。