句法语言模型大规模实证：因果注意力可与结构掩码媲美

一项大规模实证研究测试了 12 种句法语言模型（SLM）配置，规模最高达 1B 参数和 100B 训练 token，覆盖 11 个下游任务和两个句法基准。结果显示，采用标准因果注意力的 SLM 在下游与句法基准上匹配或超越结构掩码变体，且无需架构修改并兼容 FlashAttention。 研究同时发现，扩展到 1B 参数规模后，表现最佳的 SLM 变体相对算力匹配的非结构基线不再有明显优势。该研究由 Pengcheng Wang 等作者完成，已被 EMNLP 2026 接收，代码公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。