跳到正文
热点事件持续更新

研究者提出记忆遗忘基准Bemula,主流系统几乎全未通过

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

研究者发布 Bemula,称其为首个专门评估 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话、6 类共 135 条遗忘请求和 1742 道测试题,并公开了数据与代码。 团队在 3 个主干 LLM 上评测 6 种主流记忆系统及 Full Context LLM,结果均为负面:没有任何系统端到端通过超过 1.5% 的遗忘请求,多数系统一条都未通过。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    Bemula:LLM 智能体记忆遗忘基准测试

    研究者提出 Bemula,首个专门评估 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话、6 类共 135 条遗忘请求和 1742 道测试题。在 3 个主干 LLM 上评测 6 种主流记忆系统及 Full Context LLM,结果均为负面:没有任何系统端到端通过超过 1.5% 的遗忘请求,多数系统一条都未通过。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。