SFT在激活几何中留下可复现签名
热点事件持续更新
SFT在激活几何中留下可复现签名
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Xupeng Chen 等人发表研究，称在 Qwen3-1.7B 的稀疏共激活图上，监督微调（SFT）会在激活几何中留下大幅且可复现的签名：base 到 SFT 的图位移达到四个独立 LoRA-SFT 运行间平均距离的 17.8 个成对距离标准差。因此模型 diff 需按各自配方的运行间波动带校准，而非直接比较两个权重。 该研究称预注册估计器在 Llama-3.1-8B 上借助 Llama-Scope 复现。但作者限定：完整协议仅覆盖一个骨干模型、一种 SFT 配方和通用文本探针状态，所有波动带基于单一 GPU 架构构建，因此结论是校准后的结构性位移，而非机制改变。 论文还将轻量 GRPO 作为次要的非检出项，并称其不等于不存在，且未做等价性检验。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
Qwen3-1.7B 研究：SFT 在激活几何中留下可复现签名，提示模型 diff 需校准运行间噪声报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AIQwen3-1.7B 研究：SFT 在激活几何中留下可复现签名，提示模型 diff 需校准运行间噪声
在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过其与基座距离的一半，说明模型 diff 需按各自配方的运行间波动带校准。base→SFT 的图位移达四个独立 LoRA-SFT 运行间平均距离的 17.8 个成对距离标准差，该预注册估计器在 Llama-3.1-8B 上借助 Llama-Scope 复现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。