低秩蒸馏方法提升大模型隐式推理

研究者 Ryan Solgi、Jiayi Tian、Zheng Zhang 提出 LoRi 低秩蒸馏框架，用共享低秩张量子空间对齐教师模型与学生模型的推理轨迹，把推理能力内化进大语言模型。据其论文，该方法在 LLaMA、Qwen 等模型系列的数学推理基准上持续提升性能，多步任务上接近显式链式思维（CoT）的准确率，并优于此前的 iCoT 蒸馏方法。 该结果目前来自 arXiv 上的论文，尚属作者报告，未经独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。