研究者提出「约定鸿沟」指标诊断人机协作
热点事件历史事件
研究者提出「约定鸿沟」指标诊断人机协作
2 篇报道1 个报道来源21 天前更新
先了解这件事
AI 综述
研究者 Makoto Fukushima、Hua-Dong Xiong 与 Ehsan Moradi Pari 发表论文，提出「约定鸿沟」指标，用于诊断人类与 AI 协作中的隐含沟通。该指标的计算方式为：在 Hanabi 游戏中，用按提示字面内容预测的失败概率减去实际出牌失败率，以此衡量伙伴的选择是否传递了字面信息之外的含义。论文称该指标可作为此类隐含沟通的诊断工具，其结论来自 Hanabi 这类需协作卡牌游戏场景的实验验证。 后续一篇独立论文提出相近问题：Kaiming Liu 等作者提出「对齐幻觉（IoA）」概念，指协作对话表面达成一致、参与者实际在目标或执行计划上仍有分歧。其一项覆盖 18 场会议的真实用户研究称该现象普遍存在，团队构建 IoA-Suite 数据集与评测协议后发现最佳模型仅达 49.5% F1，基于此训练的 IoA-Prober-8B 达到 51.8% F1，并在 18 场真实会议中每场识别出 2.89 处参与者确认未说出口的隐藏分歧。
AI 根据报道生成 · 20 天前更新
最新进展10月15日 12:00
Illusion of Alignment：检测协作对话中的隐藏分歧事件进展
2 个进展
- 10月15日 12:00 · 1 篇报道发布IoA-Suite数据集与IoA-Prober-8B检测隐藏分歧arXiv：cs.AI：Illusion of Alignment：检测协作对话中的隐藏分歧
- 10月12日 12:00 · 1 篇报道提出并验证人类-AI协作中的“约定差距”指标arXiv：cs.AI：人类与 AI 协作中的「约定鸿沟」：Hanabi 中的隐含沟通诊断指标
报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AIIllusion of Alignment：检测协作对话中的隐藏分歧
研究提出“对齐幻觉（IoA）”概念，即协作对话表面达成一致、参与者实际在目标或执行计划上仍有分歧，一项覆盖 18 场会议的真实用户研究证实该现象普遍存在。团队构建 IoA-Suite 数据集与评测协议，发现最佳模型仅达 49.5% F1；基于此训练的 IoA-Prober-8B 达到 51.8% F1，在 18 场真实会议中每场识别出 2.89 处参与者确认未说出口的隐藏分歧。
10月12日
- arXiv：cs.AI人类与 AI 协作中的「约定鸿沟」：Hanabi 中的隐含沟通诊断指标
研究者提出「约定鸿沟」指标，用 Hanabi 游戏中按提示字面内容预测的失败概率减去实际出牌失败率，来衡量伙伴选择是否传递了字面信息之外的含义。