FON双器官语言模型论文发布

Helong Hu等发布论文提出FON（Fusion-Organ Network），将同一权重栈拆分为起草器官与修订器官：起草器官用多抽头可学习延迟加内容自适应递归，实现O(S)训练、O(1)解码状态且不做序列级二次注意力；修订器官通过弱门控注入多尺度涟漪核重处理已写前缀，不负责生成。 在30M参数、等参数等token预算下，FON在WikiText-103困惑度为131.03，优于Transformer的197.73与Mamba2的152.53，论文称该优势在同深度对齐基线与70M规模（-20.8%）下持续。8倍长度外推时，未做位置编码工程的FON性能下降约8–9%，介于ALiBi与RoPE之间。 论文同时列出代价：长程检索受损、合成任务表现不佳、域外代码填充弱于同配方Transformer，且有6.5–12.3倍挂钟时间差距。作者称修订通道在域内填充上比按需耦合提升19%，且困惑度代价在测量精度内不可区分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。