新框架ImR用不变测度稳定潜在推理

Yuto Inui等研究者提出不变测度推理器（ImR）框架，用不变测度刻画潜在状态在紧致子集上的长期分布，并让模型从预测头输出在该测度下的期望进行预测，以缓解潜在推理模型随循环深度增加出现的预测不稳定。 ImR可用于微调现有模型的预测头，也可从头训练。在迷宫和数独任务上，两种方式均降低了预测不稳定性并提升了准确率；部分设置下，经ImR训练的模型更常出现非不动点行为，但仍保持高准确率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。