推理性翻译框架建多语言评测集,暴露LLM语言漏洞
热点事件持续更新
推理性翻译框架建多语言评测集,暴露LLM语言漏洞
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Zahraa Al Sahili 等作者提出一个推理引导的翻译框架,将翻译策略选择与大规模生成分开,结合推理引导的配置选择、任务感知验证、针对性修复和独立质量筛查,构建出覆盖 7 个安全、对话与数学推理资源、11 种语言的对齐评测集。作者称,在两个需要修复的子集中,该评测集对预期条目-语言对的覆盖率达到 99.94%。 用这套评测集测试开源 LLM 时,作者发现存在与语言相关的漏洞,包括拒绝行为不一致,以及低资源语言上的推理能力显著下降。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
用推理引导翻译扩展多语言安全与推理评测报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.CL用推理引导翻译扩展多语言安全与推理评测
研究提出推理引导翻译框架,将翻译策略选择与大规模生成分离,结合推理引导的配置选择、任务感知验证、针对性修复和独立质量筛查,构建覆盖 7 个安全、对话与数学推理资源、11 种语言的对齐评测集,两个需修复子集达到 99.94% 的条目-语言对覆盖率。对开源 LLM 的评测显示存在语言相关漏洞,包括拒绝行为不一致和低资源语言推理能力显著下降。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。