SMILE：用模型自身错误做视觉上下文学习

研究者 Shu Zhao 与 Tan Yu 提出 SMILE（Self-Mined Visual In-Context Learning from Errors），利用视觉语言模型自身的预测错误来辅助上下文学习。 据该研究称，其做法是离线记录目标 VLM 自身的预测错误，构建模型专属的 hard negatives 池；测试时用预测结果作方向信号，在语义嵌入空间中找出当前查询最可能重犯的过往错误。研究者称，模型自身的预测错误是天然的反事实示例，直接编码了它的失效模式。 该工作为 arXiv cs.AI 分类下的预印本，尚不代表已被会议或期刊接收。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。