跳到正文
热点事件持续更新

arXiv 罕见病诊断蒸馏研究:增益来自过滤

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

arXiv 一篇论文研究罕见病诊断中的“后见引导”推理链蒸馏:在 ZebraMap 数据集上,让能看到真实诊断的 8B 教师模型生成思维链,再微调 1.5B 学生模型。作者 Aarav Singh 等称,过滤掉含真实答案表述的推理链后,学生 StudentF 准确率小幅但显著超过教师(p < 0.001);未过滤版则无显著优势(p = 0.129),说明增益来自污染过滤而非后见蒸馏本身。 原因是教师会把“真实答案是 X”写进推理链并被监督微调复制,未过滤学生在 33.9% 的案例中复现该表述,当标签错误时准确率严重下降。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.CL
    面向罕见病诊断的后见之明引导推理链蒸馏

    研究在 ZebraMap 上以 8B 教师模型的思维链蒸馏 1.5B 学生模型,教师生成时可看到真实诊断。过滤版学生 StudentF 准确率小幅但显著超过教师(p < 0.001),未过滤版则无显著优势(p = 0.129),说明增益来自污染过滤而非后见蒸馏本身。原因是教师会把"真实答案是 X"写入推理链并被 SFT 复制,未过滤学生在 33.9% 的案例中复现该表述,标签错误时准确率严重下降。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。