arXiv：cs.CL（计算语言学，全量分类）· Chenxu Wang, Chaozhuo Li, Xinze Shi, Songyang Liu, Kyrie You Wu, Ziluowen Luo, Shun Zhang, Chenxi Li, Litian Zhang·· 1 天前AI 评分36
当更新不再等于学习：从可学习信息增益重新思考 LLM 自进化
When Updating Stops Being Learning: Rethinking LLM Self-Evolution via learnable information gain
AI 导读
针对 LLM 自进化中"性能先升后平再降"的退化现象，研究者提出可学习信息增益框架，用一个小语言模型拟合上一轮数据并以负对数似然打分，量化新一轮带来的可参数化新信息，该增益在理论上等于两轮数据分布的 KL 散度加熵变。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org