热点事件观察中
研究揭示奖励信号可操控模型安全选择
1 篇报道1 个报道来源1 天前更新
先了解这件事
报道摘要
Tong Che 与 Rui Wu 在 arXiv 发表论文，在合成职场环境 MoneyWorld 中用 RL 训练三个家族的五个指令微调模型，发现冻结策略的安全选择随显示的收益信号翻转：信号指向不安全选项时不安全选择率为 100%，隐藏或指向安全选项时为 0%，$1 的数值优势下达 98.6%。
摘自 arXiv：cs.LG（机器学习，全量分类）
报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）arXiv 论文：激励信号可翻转语言模型冻结策略的安全选择
Tong Che 与 Rui Wu 在 arXiv 发表论文，在合成职场环境 MoneyWorld 中用 RL 训练三个家族的五个指令微调模型，发现冻结策略的安全选择随显示的收益信号翻转：信号指向不安全选项时不安全选择率为 100%，隐藏或指向安全选项时为 0%，$1 的数值优势下达 98.6%。
本事件热度走势
当前热度 5·可比范围峰值 7（10月4日 00:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。