跳到正文
热点事件持续更新

LUMOS:从训练数据追踪LLM参数知识

1 篇报道1 个报道来源4 小时前更新

先了解这件事

报道摘要

研究者提出 LUMOS 诊断框架,基于 OLMo 2 的全透明训练语料,沿训练数据暴露到行为输出的因果链追踪 LLM 的参数化知识。结果显示模型对罕见事实内部编码可分性达 84%,但行为表达仅 54%,差距随规模缩小;模型对训练过的内容自我反思准确率 83%,对未见内容降至随机基线 49%,且链式推理会抬高置信信号而非改善校准。

摘自 arXiv:cs.AI

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.AI
    LUMOS:从训练数据追踪 LLM 参数化知识到行为输出的诊断框架

    研究者提出 LUMOS 诊断框架,基于 OLMo 2 的全透明训练语料,沿训练数据暴露到行为输出的因果链追踪 LLM 的参数化知识。结果显示模型对罕见事实内部编码可分性达 84%,但行为表达仅 54%,差距随规模缩小;模型对训练过的内容自我反思准确率 83%,对未见内容降至随机基线 49%,且链式推理会抬高置信信号而非改善校准。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。