小语言模型抽象推理系统性研究

Nur A Zarin Nishat 等作者发布论文，在 ARC-TGI 基准上对小语言模型的抽象推理能力做了系统性测试，覆盖 decoder-only、encoder-decoder 和 MoE 三类模型家族，进行超过 1000 次监督微调运行。结果显示，模型在分布内的准确率可以很高，但技能获取对优化过程敏感、在不同任务族之间分布不均；分布外性能急剧下降，即使规则保留而网格尺度变化也会失效。 作者称，注意力诊断在部分任务上呈现不同的集中与上下文依赖特征，但未能确立通用的因果机制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。