跳到正文
热点事件持续更新

CurveTQ:无旋转的LLM权重格量化

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Guanhua Ding等作者发布论文提出CurveTQ,一种无需随机正交旋转的大语言模型权重Trellis(格)量化方法:将Hessian的LDL分解对角线权重引入Viterbi分支度量,使搜索在编码块内跟随曲率。 据该论文,在三个4-8B Instruct模型上、2比特条件下,CurveTQ的平均下游准确率比QTIP和Proteus高1-3个点;即便给两个基线方法加入CurveTQ的start state(作者称该单独改动即可使任一基线提升1-3个点)后,这一差距仍成立。作者还称,由于无需撤销旋转,其解码器在所有测试批次大小和比特宽度下均为三者中最快。上述效果均为论文自述结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv:cs.LG
    CurveTQ:无需旋转的 LLM 权重 Trellis 量化,基于曲率加权搜索

    CurveTQ 提出一种无需随机正交旋转的 LLM 权重 Trellis 量化方法,将 Hessian 的 LDL 分解对角线权重引入 Viterbi 分支度量,使搜索在编码块内跟随曲率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。