arXiv：cs.LG（机器学习，全量分类）· Johnny Jingze Li, Abdulla Kuleib, Kalyan Basu, Gabriel A. Silva·· 1 天前AI 评分37
语言模型在串行任务需求下如何重新分配注意力头活动
How Language Models Differ in Redistributing Attention-Head Activity Under Serial Demand
AI 导读
研究在固定提示词长度下改变任务串行步数，测量17个开源权重模型每一层注意力头活动是集中还是分散。多数模型在接近中层前的层集中活动、后续层分散，且模型间差异可复现；Qwen2.5 0.5B至7B比平均模型更分散，Llama 1B至8B与OLMo-2则在第二半部分分散，Llama-3.1-70B与Qwen2.5-72B的对比在层数与头数相同时依然成立。
来源：arXiv：cs.LG（机器学习，全量分类） · arxiv.org