最新精选
第 181–195 条 · 共 195 条- Hugging Face:Blog(RSS)精选AI 评分6363
Hugging Face 发布开源库 Optimum,目标是让 Transformer 模型在特定硬件上高效训练和推理,并与硬件伙伴合作提供优化工具。首个合作案例是 Intel Neural Compressor,支持后训练量化、量化感知训练和动态量化,文中演示了如何用 Optimum 对 Intel Xeon CPU 上的模型做动态量化。
推荐理由:原文给出 Optimum 的定位、与 Intel Neural Compressor 的量化示例和后续硬件合作计划,读者可评估其对生产部署的用处。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分7676
OpenAI 发布开源的类 Python 编程语言 Triton 1.0,让没有 CUDA 经验的研究者也能编写高效 GPU 代码,多数情况下性能与专家手写代码相当。
推荐理由:官方发布 Triton 1.0,说明无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码,可关注其对研究工作流的影响。
- Hugging Face:Blog(RSS)精选AI 评分6262
Hugging Face 联合 Yandex Research 等机构介绍 DeDLOC 协同分布式训练方法,可自适应参与者的网络与硬件限制,并用 40 名志愿者通过互联网协同预训练了孟加拉语模型 sahajBERT。
推荐理由:原文给出 DeDLOC 协同训练方法与 sahajBERT 实测结果,读者可据此评估用志愿者算力预训练语言模型的可行性。
- Hugging Face:Blog(RSS)精选AI 评分7070
Hugging Face 宣布 Hub 集成 Sentence Transformers v2,Hub 上已有超过 90 个预训练模型、覆盖 100 多种语言。新增 feature-extraction 和句子相似度两个组件,并提供 Inference API 端点;用户可用 model.save_to_hub 一键分享模型,自动生成模型卡并按标签筛选发现模型。
推荐理由:官方介绍了 Sentence Transformers v2 与 Hub 的集成方式,读者可据此了解模型分享、演示组件和 API 的实际用法。
- Hugging Face:Blog(RSS)精选AI 评分6262
Gradio 2.0 发布,可用 1 行代码加载并使用 Hugging Face Model Hub 上超过 10,000 个模型并生成 GUI。默认走 Hugging Face 托管 Inference API(可自带 API key 或无 key 公共访问),也可 pip install transformers 在本地运行模型。
推荐理由:原文给出用 1 行代码为 Hugging Face 模型搭 GUI 的方法,还支持多模型并行或串联组合,可直接上手复用。
- Hugging Face:Blog(RSS)精选AI 评分6363
Hugging Face 发布长文解读 BigBird 的块稀疏注意力,说明其如何用全局、滑动和随机三种注意力近似 BERT 的全注意力,从而以更低计算成本处理最长 4096 的序列。
推荐理由:原文用伪代码和图示拆解 BigBird 的全局、滑动、随机三种注意力,读者可以借此理解块稀疏注意力的实现细节。
- Hugging Face:Blog(RSS)精选AI 评分6060
Hugging Face 与 PyTorch / XLA 集成,让用户在 Cloud TPU 上训练 Transformers 时保持原有 Trainer 接口不变。
推荐理由:原文解释了 PyTorch / XLA 的惰性执行与编译缓存机制,并给出在 Cloud TPU 上训练 Transformers 的完整示例和基准数据。
- Hugging Face:Blog(RSS)精选AI 评分7474
Hugging Face fellow Stas Bekman 介绍 transformers v4.2.0 起通过 --deepspeed 和 --sharded_ddp 参数实验性支持 DeepSpeed 与 FairScale 的 ZeRO 特性。
推荐理由:作者用同一套 t5 基准实测六种配置,读者可以直接对照表格选择适合自己 GPU 数量的 ZeRO 方案。
- Hugging Face:Blog(RSS)精选AI 评分6464
Hugging Face 发布教程,演示用 transformers 和 tokenizers 从零训练 84M 参数的 RoBERTa 风格模型 EsperBERTo,并微调到世界语词性标注任务。
推荐理由:Hugging Face 官方教程完整走通从语料、分词器到预训练和下游微调的全流程,步骤和代码可直接复用到其他低资源语言。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分7575
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已分别于 2 月发布 124M 小模型、5 月分阶段发布 355M 中模型,并与合作伙伴及 AI 社区研究了模型的潜在滥用与社会效益。同时发布一份开源法律协议,便于机构间建立模型共享合作,并发布技术报告,总结与 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 官方说明分阶段放行 774M 模型的决策依据,并附上模型共享协议与发布规范报告,可了解其审慎发布策略。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分6666
OpenAI 发布 Spinning Up in Deep RL,一个面向大众的深度强化学习教育资源,目标是让任何人学会成为熟练的深度强化学习实践者。资源包含清晰的 RL 代码示例、教学练习、文档和教程。
推荐理由:OpenAI 官方推出的深度强化学习教育资源,包含代码示例、练习和教程,适合想系统入门该领域的读者。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分6363
OpenAI 发布完整版 Gym Retro,一个用于游戏强化学习研究的平台。公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到超过 1,000 款,覆盖多种底层模拟器,并同时发布了用于向平台添加新游戏的工具。
推荐理由:原文给出游戏数量从约百款扩到超千款的具体变化,并附添加新游戏的工具,便于研究者评估平台适用性。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分7575
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,且实现和调参更简单。凭借易用性和良好表现,PPO 已成为 OpenAI 的默认强化学习算法。
推荐理由:原文说明 PPO 性能可比肩或超过 SOTA 方法且更易实现调参,读者可据此了解它为何成为 OpenAI 默认强化学习算法。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分6969
OpenAI 发布 Universe,一个用于测量和训练 AI 通用智能的软件平台,覆盖全球的游戏、网站及其他应用程序。
推荐理由:原文给出 Universe 的定位是跨游戏、网站和应用测量与训练 AI 通用智能的平台,可据此了解其覆盖范围。
- OpenAI:官网动态(RSS · 排除企业/客户案例)精选AI 评分7474
OpenAI 发布 OpenAI Gym 公开测试版,这是一个用于开发和比较强化学习(RL)算法的工具包。它包含一套持续扩充的环境(从模拟机器人到 Atari 游戏),并提供一个用于比较和复现结果的网站。
推荐理由:OpenAI 官方发布强化学习算法开发与比较工具包的公开测试版,读者可据此了解其环境套件与结果复现机制。