如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 的 Sentence Transformers 维护者 Tom Aarsen 发布教程,讲解如何用该库微调嵌入模型以提升特定任务表现,也可从零训练新模型。
推荐理由:作者逐项拆解数据集、损失函数、评估器与 Trainer 的配合方式,并给出可复现的微调示例与效果数字。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 的 Sentence Transformers 维护者 Tom Aarsen 发布教程,讲解如何用该库微调嵌入模型以提升特定任务表现,也可从零训练新模型。
推荐理由:作者逐项拆解数据集、损失函数、评估器与 Trainer 的配合方式,并给出可复现的微调示例与效果数字。
微软亚洲研究院的 SpeechT5 现已加入 Hugging Face Transformers,官方 checkpoint 发布在 Hub 上,一个架构可完成语音转文本(ASR)、文本转语音(TTS)和语音转语音(如变声)三类任务。
推荐理由:SpeechT5 以一套架构同时支持 TTS、ASR 和语音转换,官方 checkpoint 已进入 Transformers,文中附完整可跑的代码示例。
Hugging Face 在 diffusers 中正式支持用 LoRA 微调 Stable Diffusion,覆盖 Dreambooth 和全量微调两种方式。
推荐理由:原文给出 LoRA 微调 Stable Diffusion 的具体收益和可复现训练脚本,11 GB 显存即可跑通。
Hugging Face 与 PaddlePaddle 达成开源合作,PaddlePaddle 将逐步把旗下库接入 Hugging Face Hub,以 PaddleNLP 打头。
推荐理由:官方宣布 PaddlePaddle 接入 Hugging Face Hub,读者可以据此了解国内主流深度学习平台的开源共享入口和可用模型。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,且实现和调参更简单。凭借易用性和良好表现,PPO 已成为 OpenAI 的默认强化学习算法。
推荐理由:原文说明 PPO 性能可比肩或超过 SOTA 方法且更易实现调参,读者可据此了解它为何成为 OpenAI 默认强化学习算法。
OpenAI 发布 Universe,一个用于测量和训练 AI 通用智能的软件平台,覆盖全球的游戏、网站及其他应用程序。
推荐理由:原文给出 Universe 的定位是跨游戏、网站和应用测量与训练 AI 通用智能的平台,可据此了解其覆盖范围。