研究者提出模型切片协作学习与推理方法

Yuheng Wang 等作者发布论文，提出名为“协作学习”（collaborative learning）的方法：用模型切片把一个大模型替换为参数量相当的多个异构小模型，让先前的推理能在不同参数化下被重新评估，并通过 Pyramid 监督、协议蒸馏与步骤级监督优化协作决策。 作者称，在 multi-hop 问答、数学推理、代码生成和开放约束生成四类任务上，训练后的异构模型表现与原始大模型及现有多智能体基线（含强化学习方法）相当或更优，且推理效率更高。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。