跳到正文
热点事件持续更新

WASD:基于Wasserstein距离的大模型蒸馏方法

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

研究者提出 WASD,一种面向大语言模型的知识蒸馏方法,用 token 嵌入构建代价矩阵,把 token 级语义信息引入 Wasserstein 距离,并采用 Sinkhorn 散度推导出梯度等价目标以高效优化。 在多个 LLM 系列与规模上的实验中,WASD 在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能;实现已公开,论文被 NeurIPS 2026 接收。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv:cs.LG
    WASD:面向大语言模型的 Wasserstein 知识蒸馏

    研究提出 WASD,一种基于 Wasserstein 距离的大语言模型知识蒸馏方法,通过由 token 嵌入构建的代价矩阵引入 token 级语义信息,并采用 Sinkhorn 散度推导出梯度等价目标以高效优化。在多个 LLM 系列与规模上的实验显示,WASD 在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能。实现已公开,论文被 NeurIPS 2026 接收。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。