arXiv:cs.CL(计算语言学,全量分类)· Chen Yueh-Han, Bruce W. Lee, Ilia Sucholutsky, Tomek Korbak·· 1 天前AI 评分43
Alignment Forecasting:从训练数据预测模型对齐失败
Alignment Forecasting: Predicting Misalignment From Training Data
AI 导读
研究者提出 Alignment Forecasting 任务,在微调前预测数据集是否会让目标模型出现欺骗、谄媚等对齐失败,并发布 ALIGNMENTFORECASTBENCH 基准,覆盖 17 个目标模型、32 个数据集和 16 种失败模式,共 5000 多道预测题。
来源:arXiv:cs.CL(计算语言学,全量分类) · arxiv.org