研究称语言模型存在可解释叙事机制
热点事件持续更新
研究称语言模型存在可解释叙事机制
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
David Yiyang Liu 等人发表论文称，在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出与叙事性相关的注意力头、MLP 神经元及稀疏自编码器特征。消融这些组件后，高叙事性文本的下一 token 预测损失增幅大于低叙事性文本，开放式生成的叙事性也下降，故事补全和叙事问答受影响最大。 不过论文称，在虚构与幻觉基准上的结果喜忧参半，说明该机制与事实性表现的关系尚不明确。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
语言模型具有可解释的叙事机制：GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 中的叙事组件报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.CL语言模型具有可解释的叙事机制：GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 中的叙事组件
研究在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出激活与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。消融这些神经元和特征集后，高叙事性文本的下一 token 预测损失增幅大于低叙事性文本，开放式生成的叙事性也随之下降。下游影响最大的是故事补全和叙事问答，但在虚构与幻觉基准上的结果喜忧参半。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。