研究任务上下文如何重塑语言模型组件角色
热点事件持续更新
研究任务上下文如何重塑语言模型组件角色
1 篇报道1 个报道来源10 小时前更新
先了解这件事
报道摘要
研究用相同图事实对比不同任务下语言模型的固定组件，发现任务变化会重新分配五个开源权重模型（覆盖四个模型族、1.5-14B 参数）中注意力头的影响力。在 Gemma-2-9B 和 Qwen3-14B 中，一次激活编辑即可在指令不变时改变模型读取的事实。针对独立事实干预，对应条件的线性响应图相比两图平均将预测均方误差在 Gemma 中降低 53.6%、在 Qwen 中降低 5.0%。
摘自 arXiv：cs.CL
最新进展10月12日 12:00
任务上下文如何塑造语言模型内部组件的角色报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.CL任务上下文如何塑造语言模型内部组件的角色
研究用相同图事实对比不同任务下语言模型的固定组件，发现任务变化会重新分配五个开源权重模型（覆盖四个模型族、1.5-14B 参数）中注意力头的影响力。在 Gemma-2-9B 和 Qwen3-14B 中，一次激活编辑即可在指令不变时改变模型读取的事实。针对独立事实干预，对应条件的线性响应图相比两图平均将预测均方误差在 Gemma 中降低 53.6%、在 Qwen 中降低 5.0%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。