Hugging Face 发布模型卡创建工具与指南

引言

模型卡片是一个重要的文档框架，用于理解、分享和改进机器学习模型。如果做得好，模型卡片可以作为一个边界对象，一种单一的产物，能够被具有不同背景和目标的人理解模型时使用——包括开发者、学生、政策制定者、伦理学家以及受机器学习模型影响的人。

今天，我们推出了模型卡片创建工具和模型卡片指南书，其中详细介绍了如何填写模型卡片、用户研究以及机器学习文档的最新技术。这项工作建立在许多其他人和组织的基础上，重点关注不同背景和角色的人的包容性。我们希望它能成为改进机器学习文档道路上的垫脚石。

总之，今天我们宣布发布：

一个模型卡片创建工具，无需编程即可轻松创建卡片，并帮助团队分享不同部分的工作。
一个更新的模型卡片模板，发布在huggingface_hub库中，汇集了学术界和整个行业的模型卡片工作。
一个带注释的模型卡片模板，详细说明了如何填写卡片。
一项关于Hugging Face模型卡片使用的用户研究。
一份关于模型文档最新技术的景观分析和文献综述。

迄今为止的模型卡片

自从Mitchell等人（2018）提出模型卡片以来，受到自然语言处理数据声明（Bender & Friedman, 2018）和数据集数据表（Gebru等人，2018）等主要文档框架工作的启发，机器学习文档的景观已经扩展和演变。大量针对数据、模型和机器学习系统的文档工具和模板被提出和开发——反映了数百名研究人员、受影响的社区成员、倡导者和其他利益相关者的令人难以置信的工作。关于机器学习文档与负责任AI变革理论之间关系的重要讨论也塑造了机器学习文档生态系统中的这些发展。

迄今为止在机器学习中为不同受众提供的文档工作。我们在今天分享的工作中汇集了许多这些想法。

我们的工作

我们的工作展示了模型卡片目前的状况以及未来可能的发展方向。我们对不断增长的机器学习文档工具景观进行了广泛分析，并在Hugging Face内部进行了用户访谈，以补充我们对模型卡片不同意见的理解。我们还为Hugging Face Hub上的机器学习模型创建或更新了数十个模型卡片，并根据所有这些经验，我们提出了一个新的模型卡片模板。

标准化模型卡片结构

通过我们的背景研究和用户研究（在指南书中进一步讨论），我们旨在建立公众所理解的“模型卡片”的新标准。

基于这些发现，我们创建了一个新的模型卡片模板，它不仅标准化了 HF 模型卡片的结构和内容，还提供了默认提示文本。该文本旨在帮助撰写模型卡片的各个部分，尤其侧重于偏见、风险与局限性部分。

可访问性与包容性

为了降低创建模型卡片的门槛，我们设计了模型卡片撰写工具，这是一个带有图形用户界面（GUI）的工具，使拥有不同技能组合和角色的人员与团队能够轻松协作并创建模型卡片，无需编写代码或使用 markdown。

该撰写工具鼓励那些尚未撰写过模型卡片的人更轻松地创建它们。对于那些之前撰写过模型卡片的人，这种方法邀请他们在提示信息的基础上进行补充——同时以模型文档的伦理要素为核心。

随着机器学习与不同领域的交织日益紧密，以可访问性、伦理和包容性为核心的协作式开源机器学习流程，是机器学习生命周期中的关键组成部分，也是机器学习文档工作的一块垫脚石。

今天的发布处于机器学习文档工作的更大生态系统之中：数据和模型文档已被许多科技公司采纳，包括 Hugging Face 🤗。我们优先考虑数据集卡片和模型卡片的“仓库卡片”，并聚焦于跨学科性。延续这一工作方向，模型卡片创建 UI 工具聚焦于包容性，提供格式和提示方面的指导，以帮助不同背景的人创建卡片。

行动号召

让我们展望未来

这项工作是对模型卡片当前状态的一张“快照”，其依据是对机器学习文档产物多种实例化方式的全景分析。模型手册和这些发现代表了关于模型卡片当前状态和更具愿景性构想的多重视角中的一种。

Hugging Face 生态系统将继续推进简化模型卡片创建的方法，通过代码和用户界面，包括将更多功能直接构建到仓库和产品中。
随着我们进一步开发诸如 Hub 上的 Evaluate 等模型工具，我们将把其使用整合到模型卡片开发工作流中。例如，随着跨分解因素自动评估模型性能变得更加容易，这些结果将有可能导入到模型卡片中。
还需要进一步研究以推进研究模型与模型卡片的配对，例如构建从研究论文 → 到模型文档的流水线，使从论文到模型卡片创建变得轻而易举。这将实现更大的跨领域覆盖范围和模型文档的进一步标准化。

我们将继续深入了解模型卡片是如何被创建和使用的，以及卡片对模型使用的影响。基于这些认识，我们将进一步更新模型卡片模板、说明和 Hub 集成。

在我们努力纳入更多声音和利益相关者的模型卡片用例时，收藏我们的模型卡片撰写工具并试一试！

我们很期待了解您对模型卡片、我们的模型卡片撰写 GUI 以及 AI 文档如何赋能您所在领域的看法。🤗

致谢

如果没有 Omar Sanseviero、Lucain Pouget、Julien Chaumond、Nazneen Rajani 和 Nate Raw 的大量贡献，本次发布将无法实现。