研究:选项名称映射致决策模型翻转超七成
热点事件持续更新
研究:选项名称映射致决策模型翻转超七成
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项发表在 arXiv 的研究发现,类型正确的决策模型可能不遵循显式选项定义。作者 Yu Sun 等人在 Jev 及两个开放权重模型上做了 1200 个决策任务,只改变选项名称与定义的映射关系,其他内容不变,决策翻转率最高达 70.4 个百分点,且该差距在全部 4 种二元决策规则下均存在。 使用 yes/no 名称时,重映射使平均 AUC 从 93.8% 降至低于随机的 23.2%;随机字符串作选项名时,翻转率接近中性对照。全程类型错误率保持 0%。研究据此称,类型安全不等于无错,模型输出仍可能跟随选项名称而非绑定定义。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
类型安全不等于无错:类型化决策模型跟随选项名称而非绑定定义报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv:cs.AI类型安全不等于无错:类型化决策模型跟随选项名称而非绑定定义
Jev 及两个开放权重模型在 1200 个决策任务中,仅改变选项名称与定义的映射关系,决策翻转率最高达 70.4 个百分点,且该差距在全部 4 种二元决策规则下均存在。使用 yes/no 名称时,重映射使平均 AUC 从 93.8% 降至低于随机的 23.2%,而随机字符串作选项名时翻转率接近中性对照。全程类型错误率保持 0%,表明类型正确的输出仍可能不遵循显式选项定义。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。