用内在维度预设注意力头数的小规模研究

一项小规模研究提出，可用无标签估计的 token 表示内在维度来预设 Transformer 的注意力头数。作者 Arjun Boya 等在 WikiText-2 的 DistilBERT 嵌入上训练嵌套 dropout VAE，取 rate-distortion 曲线拐点处的 KL 权重，得到 k*=9.2（95% CI [8.6, 9.8]），即约 9 个头。 作者称这只是值得在更大规模上检验的实用启发式，而非通用原则。其证据范围有限：仅涉及两个分类任务、一个小型架构，未使用预训练模型，也未建立内在维度与头数之间的形式化联系。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。