ThinkBit 提出二比特量化框架以保持推理能力

Rhea Sanjay Sukthanker 等研究者提交论文，提出严格标量二比特量化框架 ThinkBit，目标是让推理语言模型在二比特量化后仍保持推理能力。该框架中每个权重由整数码字乘以一组权重共享的 bfloat16 缩放因子表示。 据论文描述，流程分几步：先用敏感度指标为各层分配 ternary、2-bit 或 3-bit 位宽，再逐块搜索最优码字，并通过知识蒸馏重校准缩放、短程 QAT 和配对推理测试选出最终检查点。这些效果来自论文自述，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。