研究定位语言模型网络信息检索的注意力头

Abdul Kadir 等研究者发表论文，因果验证语言模型识别网络基础设施信息（主机名与 IP 地址配对）的责任是否集中于特定注意力头及头内神经元。研究覆盖三个架构家族的五个模型，在每个模型中，128 至 1152 个候选注意力头里只需 1 至 9 个即可让检测器达到 99.5%–100% 的留出准确率，表明这一能力高度集中在少数注意力头上。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。