arXiv:cs.AI(全量分类)· Loay Mualem, Llu\'is Pastor-P\'erez, Vinh Tong, Andrei Manolache, Tanja Bien, Steffen Staab, Mathias Niepert·· 3 小时前AI 评分39
GoldiMask:用上下文选择与目标加权微调扩散语言模型
Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting
AI 导读
研究者提出 GoldiMask,通过近似最大化子模目标来选择作为上下文揭示的 token,并按目标从所选上下文中获益的程度及其剩余学习潜力对其加权,用于离散扩散语言模型的监督微调。
来源:arXiv:cs.AI(全量分类) · arxiv.org