跳到正文
热点事件持续更新

研究:选项名称映射致决策模型翻转超七成

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一项发表在 arXiv 的研究发现,类型正确的决策模型可能不遵循显式选项定义。作者 Yu Sun 等人在 Jev 及两个开放权重模型上做了 1200 个决策任务,只改变选项名称与定义的映射关系,其他内容不变,决策翻转率最高达 70.4 个百分点,且该差距在全部 4 种二元决策规则下均存在。 使用 yes/no 名称时,重映射使平均 AUC 从 93.8% 降至低于随机的 23.2%;随机字符串作选项名时,翻转率接近中性对照。全程类型错误率保持 0%。研究据此称,类型安全不等于无错,模型输出仍可能跟随选项名称而非绑定定义。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv:cs.AI
    类型安全不等于无错:类型化决策模型跟随选项名称而非绑定定义

    Jev 及两个开放权重模型在 1200 个决策任务中,仅改变选项名称与定义的映射关系,决策翻转率最高达 70.4 个百分点,且该差距在全部 4 种二元决策规则下均存在。使用 yes/no 名称时,重映射使平均 AUC 从 93.8% 降至低于随机的 23.2%,而随机字符串作选项名时翻转率接近中性对照。全程类型错误率保持 0%,表明类型正确的输出仍可能不遵循显式选项定义。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。