预注册研究：托管决策模型 jev-1.13.0 不满足 IIA

Dushyant Rajput 等（AltSlate Labs LLP）发表的一项预注册研究称，托管决策模型 jev-1.13.0 不满足无关选项独立性（IIA）。研究用 299,463 次调用，在意图分类（BANKING77、CLINC150）和主题分类（AG News）任务上测试该模型。 结果显示，每新增一个选项都会移动金标与最强错误标签之间的对数几率，系统性偏移的均方根为 0.20–0.52 nats，是运行间波动的 1.2 至 3 倍，即使新增选项的概率质量不超过 0.1%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。