多模态机器遗忘评测基准GEMMU提出
热点事件持续更新
多模态机器遗忘评测基准GEMMU提出
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
Oscar Chew等作者发布论文,指出多模态大语言模型机器遗忘评估存在三大陷阱:缺少留出评估,无法区分真正的概念级遗忘与实例级过拟合;依赖合成微调知识而非预训练获得的真实知识;对不同遗忘方法套用相同训练设置导致不公平比较。作者据此提出基准GEMMU,称其基于真实知识与原则性评估协议构建,并用它重新评估代表性遗忘方法,报告出现显著泛化差距。该结果来自作者论文,尚待独立验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
我们真的在测量遗忘吗?多模态 LLM 机器遗忘评估的陷阱与 GEMMU 基准报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.CL我们真的在测量遗忘吗?多模态 LLM 机器遗忘评估的陷阱与 GEMMU 基准
针对多模态大语言模型机器遗忘评估,研究指出三大陷阱:缺少留出评估导致无法区分真正的概念级遗忘与实例级过拟合;依赖合成微调知识而非预训练获得的真实知识;对不同遗忘方法套用相同训练设置造成不公平比较。为此作者提出基于真实知识与原则性评估协议的基准 GEMMU,重新评估代表性遗忘方法后揭示出显著的泛化差距。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。