研究：语言模型 logits 呈 log-linear 结构
热点事件持续更新
研究：语言模型 logits 呈 log-linear 结构
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
arXiv 平台 2026 年 10 月 15 日一篇 cs.AI 论文对自回归语言模型 logits 的几何结构做了系统分析。作者 Swathi Shree Narashiman 等人报告，将词表头部 logits 按大小排序后，其值与序位 r 近似满足 log-linear 关系 z_(r) ≈ μ - α log r。 该关系在不同预测上下文、模型架构和规模下均保持一致，并在预训练过程中逐步显现。上述结论来自论文作者的实证观察。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
语言模型 Logits 的几何结构：通用模式与习得性偏离报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI语言模型 Logits 的几何结构：通用模式与习得性偏离
研究首次系统分析自回归语言模型 logits 的几何结构，发现有序词表头部 logits 在不同预测上下文、架构和规模下均遵循 log-linear 关系 z_(r) ≈ μ - α log r，并在预训练中逐步显现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。