WASD:基于Wasserstein距离的大模型蒸馏方法
热点事件持续更新
WASD:基于Wasserstein距离的大模型蒸馏方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者提出 WASD,一种面向大语言模型的知识蒸馏方法,用 token 嵌入构建代价矩阵,把 token 级语义信息引入 Wasserstein 距离,并采用 Sinkhorn 散度推导出梯度等价目标以高效优化。 在多个 LLM 系列与规模上的实验中,WASD 在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能;实现已公开,论文被 NeurIPS 2026 接收。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
WASD:面向大语言模型的 Wasserstein 知识蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv:cs.LGWASD:面向大语言模型的 Wasserstein 知识蒸馏
研究提出 WASD,一种基于 Wasserstein 距离的大语言模型知识蒸馏方法,通过由 token 嵌入构建的代价矩阵引入 token 级语义信息,并采用 Sinkhorn 散度推导出梯度等价目标以高效优化。在多个 LLM 系列与规模上的实验显示,WASD 在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能。实现已公开,论文被 NeurIPS 2026 接收。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。