跳到正文
热点事件持续更新

研究:用路由梯度敏感度识别MoE安全专家

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Md Nurul Absar Siddiky 等作者发表论文,提出用 router-gradient sensitivity(序列损失对选择专家的门控权重的敏感度)替代激活频率,来识别稀疏 MoE 大语言模型中影响安全行为的专家。 在五种 MoE 架构上,作者用 500 条良性加 500 条恶意提示对专家排序,并在 100 条留出恶意提示上测拒绝率,比较两种预算:专家数量相等、恶意路由流量相等(1%–5%)。结果显示,两种预算下 router-gradient 选择在 25 种条件中有 24 种比激活频率更能降低拒绝率,全部 25 种都优于十次随机试验的均值;逐层匹配专家数量后,梯度选择在 23 种条件下仍优于激活频率,另有两种持平。 一项探索性跨模型分析称,恶意与良性集中度差距越大,峰值梯度效应越强(rho = 0.90;双侧精确 p = 0.083,n = 5)。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    频率不等于敏感度:在稀疏 MoE LLM 中识别安全敏感专家

    研究提出用 router-gradient 敏感度替代激活频率来筛选稀疏 MoE 大语言模型中需抑制的专家,在五种 MoE 架构、500 条良性加 500 条恶意提示上排序,并在 100 条留出恶意提示上测试拒绝率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。