跳到正文
lifcc· @mylifcc · X·· 9 小时前AI 评分50
AI 导读

小米研究院联合 CMU、ETH Zurich 等机构发布并开源 A-RSI(Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement)论文,登上 Hugging Face 每日论文榜第二名。

正文 · 原文

小米大模型团队联合 CMU 等机构开源 A-RSI 框架,在零外部数据下仅靠 800 个程序自生成任务,将多模态基准均分从 57.77 提升至 61.05

这是小米研究院(Xiaomi Research)联合卡耐基梅隆大学(CMU)、苏黎世联邦理工学院(ETH Zurich)等机构刚刚发布的论文,今天冲上了 Hugging Face 每日论文榜第二名。

这篇论文研究的是 AI 怎么“自己教自己”(递归自我提升,RSI)。过去做自博弈或自我进化时,学术界通常紧盯一件事:怎么让模型生成下一批训练题。但有两个死穴一直没解决好:一是模型不知道手头这批题什么时候已经被“刷透了”,继续练只是在原地空转;二是很多方法靠模型自己投票(多数表决或自洽性)来定标准答案,一旦模型产生幻觉,就会自己把自己带进沟里。

A-RSI(Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement)把这两个问题彻底拆开来解决。它不再去偷看验证集或测试集的分数,而是直接监控训练日志里的奖励波动和准确率变化。只要系统发现当前任务池的学习信号开始衰退(说明这批题快被榨干了),就会自动触发刷新机制,往池子里换入新题。

【用代码替代“自我投票”来保真】

为了让答案绝对可靠,A-RSI 没有让模型靠“猜”和“投票”来生成标注,而是用了一套静态的、由模型编写的程序库来生成多模态视觉问题(比如图表、几何或视觉逻辑题),并直接通过程序推导出可独立验证的参考答案。

整个闭环训练下来,不需要任何外部训练样本,也没有用到一条人工编写的答案标签。在包含 11 个主流多模态基准的评测集上,A-RSI 仅靠引入 800 个刷新任务,就把模型的平均得分从 57.77 提升到了 61.05。

【连自己的涨分都要“反向审计”的硬核附录】

这篇论文在工程验证上做得非常克制和扎实。作者在附录里不仅详细复盘了此前同类方法(如 MM-Zero)在复现中遇到的工程坑,甚至专门拿出一章来做自我审计,标题直接就叫“Audit: Is Our Own Gain Real?”(审计:我们自己的涨分是真的吗?)。

他们对 1000 道题的输出做了独立于结果的拆解审计,专门排查了模型是不是在靠钻奖励函数的空子(Reward Hacking)或者靠拉长输出长度来水分数。同时他们还发现了一个很有意思的反直觉现象:在刷新题库时,随机抽样替换(Random replacement)的效果反而赢过了很多复杂的精心挑选策略,证明在自我进化里,打破题库同质化、及时引入新鲜分布,比死磕某类特定难题更管用。

来源:lifcc · x.com