arXiv 罕见病诊断蒸馏研究:增益来自过滤
热点事件持续更新
arXiv 罕见病诊断蒸馏研究:增益来自过滤
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
arXiv 一篇论文研究罕见病诊断中的“后见引导”推理链蒸馏:在 ZebraMap 数据集上,让能看到真实诊断的 8B 教师模型生成思维链,再微调 1.5B 学生模型。作者 Aarav Singh 等称,过滤掉含真实答案表述的推理链后,学生 StudentF 准确率小幅但显著超过教师(p < 0.001);未过滤版则无显著优势(p = 0.129),说明增益来自污染过滤而非后见蒸馏本身。 原因是教师会把“真实答案是 X”写进推理链并被监督微调复制,未过滤学生在 33.9% 的案例中复现该表述,当标签错误时准确率严重下降。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 12:00
面向罕见病诊断的后见之明引导推理链蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.CL面向罕见病诊断的后见之明引导推理链蒸馏
研究在 ZebraMap 上以 8B 教师模型的思维链蒸馏 1.5B 学生模型,教师生成时可看到真实诊断。过滤版学生 StudentF 准确率小幅但显著超过教师(p < 0.001),未过滤版则无显著优势(p = 0.129),说明增益来自污染过滤而非后见蒸馏本身。原因是教师会把"真实答案是 X"写入推理链并被 SFT 复制,未过滤学生在 33.9% 的案例中复现该表述,标签错误时准确率严重下降。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。