Hugging Face 发布 Evaluation on the Hub,一键评估任意模型与数据集
Hugging Face 推出 Evaluation on the Hub,基于 AutoTrain,可在 Hub 上不写代码评估任意模型在任意数据集上的表现。
推荐理由:官方介绍无代码评估任意 Hub 模型与数据集的流程和排行榜用法,读者可据此了解如何复现和比较模型性能。
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
Hugging Face 推出 Evaluation on the Hub,基于 AutoTrain,可在 Hub 上不写代码评估任意模型在任意数据集上的表现。
推荐理由:官方介绍无代码评估任意 Hub 模型与数据集的流程和排行榜用法,读者可据此了解如何复现和比较模型性能。
Hugging Face 在 Hub 上线 Pull Requests 和 Discussions 功能,所有模型、数据集和 Spaces 仓库的 Community 标签页均可使用,任何社区成员都能发起和参与讨论及 PR。PR 不使用 fork 和分支,而是直接在源仓库上存储名为 refs 的自定义分支,并简化了 Issues 与 PR 的区分,面向 ML 仓库做了精简。
推荐理由:官方说明了 PR 与讨论功能的入口和底层 ref 机制,读者可以据此了解它与 GitHub 式 fork 流程的差异。
Hugging Face 发布 Gradio 3.0,对 Gradio 库进行彻底重构。自 2019 年首个版本以来已有超过 600,000 个机器学习演示用 Gradio 构建。
推荐理由:官方发布 Gradio 3.0,说明前端重构与 Blocks 低阶 API 的具体能力,读者可据此评估是否升级自己的演示应用。
Hugging Face 发布 Optimum 1.2,为 Optimum 增加推理支持,可通过 ORTModelForXxx 类配合 ONNX Runtime 使用 transformers pipelines。
推荐理由:官方教程给出从转换、优化到量化的完整流程和实测数据,延迟约减半而精度保留 99.61%,方法可直接迁移。
Hugging Face 在 Transformers 中推出约束束搜索功能,通过 model.generate() 的 force_words_ids 参数让用户强制生成结果包含指定词语或短语。
推荐理由:作者以翻译和 GPT-2 示例演示 force_words_ids 用法,并解释 banks 轮询机制如何在满足约束与生成通顺文本间取得平衡。
OpenAI 在 API 中推出新的 embeddings 端点,用于处理自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。
推荐理由:OpenAI 官方宣布 API 新增 embeddings 端点,读者可据此了解语义搜索等任务的官方接入方式。
OpenAI 宣布 GPT-3 支持针对应用场景的微调(fine-tuning),只需一条命令即可完成定制。
推荐理由:OpenAI 官方宣布 GPT-3 支持微调,一条命令即可完成,适合关注定制化模型能力的开发者。
OpenAI 宣布其 API 不再需要候补名单,任何人均可直接使用。官方说明,更广泛的开放得益于安全方面的进展。
推荐理由:原文说明 API 开放申请的原因是安全方面的进展,读者可据此了解 OpenAI 开放策略背后的考量。
Hugging Face 发布开源库 Optimum,目标是让 Transformer 模型在特定硬件上高效训练和推理,并与硬件伙伴合作提供优化工具。首个合作案例是 Intel Neural Compressor,支持后训练量化、量化感知训练和动态量化,文中演示了如何用 Optimum 对 Intel Xeon CPU 上的模型做动态量化。
推荐理由:原文给出 Optimum 的定位、与 Intel Neural Compressor 的量化示例和后续硬件合作计划,读者可评估其对生产部署的用处。
Hugging Face 宣布 Hub 集成 Sentence Transformers v2,Hub 上已有超过 90 个预训练模型、覆盖 100 多种语言。新增 feature-extraction 和句子相似度两个组件,并提供 Inference API 端点;用户可用 model.save_to_hub 一键分享模型,自动生成模型卡并按标签筛选发现模型。
推荐理由:官方介绍了 Sentence Transformers v2 与 Hub 的集成方式,读者可据此了解模型分享、演示组件和 API 的实际用法。
Gradio 2.0 发布,可用 1 行代码加载并使用 Hugging Face Model Hub 上超过 10,000 个模型并生成 GUI。默认走 Hugging Face 托管 Inference API(可自带 API key 或无 key 公共访问),也可 pip install transformers 在本地运行模型。
推荐理由:原文给出用 1 行代码为 Hugging Face 模型搭 GUI 的方法,还支持多模型并行或串联组合,可直接上手复用。
Hugging Face 发布开源库 Accelerate,让 PyTorch 用户只需在训练脚本中添加约五行代码,即可在多 GPU(单机或多节点)、TPU 及混合精度等任意分布式设置下运行,同时保留对训练循环的完全控制。
推荐理由:官方发布 Accelerate 库,用五行代码改造 PyTorch 训练脚本即可适配多 GPU、TPU 和混合精度,附代码示例和 CLI 启动器。
OpenAI 宣布将其深度学习框架统一标准化为 PyTorch。
推荐理由:OpenAI 官方宣布统一深度学习框架为 PyTorch,读者可据此了解其训练技术栈的走向。
OpenAI 训练了一对神经网络,用类人机械手复原魔方。网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并配合一种名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情形,例如被长颈鹿玩偶戳碰,表明强化学习不只能完成虚拟任务,也能解决需要极高灵巧度的现实物理问题。
推荐理由:原文说明神经网络完全在仿真中训练即可操控实体机械手复原魔方,并给出 ADR 这一可迁移的强化学习技术思路。
OpenAI 发布完整版 Gym Retro,一个用于游戏强化学习研究的平台。公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到超过 1,000 款,覆盖多种底层模拟器,并同时发布了用于向平台添加新游戏的工具。
推荐理由:原文给出游戏数量从约百款扩到超千款的具体变化,并附添加新游戏的工具,便于研究者评估平台适用性。
OpenAI 发布 Universe,一个用于测量和训练 AI 通用智能的软件平台,覆盖全球的游戏、网站及其他应用程序。
推荐理由:原文给出 Universe 的定位是跨游戏、网站和应用测量与训练 AI 通用智能的平台,可据此了解其覆盖范围。
OpenAI 发布 OpenAI Gym 公开测试版,这是一个用于开发和比较强化学习(RL)算法的工具包。它包含一套持续扩充的环境(从模拟机器人到 Atari 游戏),并提供一个用于比较和复现结果的网站。
推荐理由:OpenAI 官方发布强化学习算法开发与比较工具包的公开测试版,读者可据此了解其环境套件与结果复现机制。