研究者提出记忆遗忘基准Bemula,主流系统几乎全未通过
热点事件持续更新
研究者提出记忆遗忘基准Bemula,主流系统几乎全未通过
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
研究者发布 Bemula,称其为首个专门评估 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话、6 类共 135 条遗忘请求和 1742 道测试题,并公开了数据与代码。 团队在 3 个主干 LLM 上评测 6 种主流记忆系统及 Full Context LLM,结果均为负面:没有任何系统端到端通过超过 1.5% 的遗忘请求,多数系统一条都未通过。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
Bemula:LLM 智能体记忆遗忘基准测试报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.AIBemula:LLM 智能体记忆遗忘基准测试
研究者提出 Bemula,首个专门评估 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话、6 类共 135 条遗忘请求和 1742 道测试题。在 3 个主干 LLM 上评测 6 种主流记忆系统及 Full Context LLM,结果均为负面:没有任何系统端到端通过超过 1.5% 的遗忘请求,多数系统一条都未通过。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。