xAI 开源 314B 参数 MoE 模型 Grok-1 权重与架构

Open Release of Grok-1 We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model Grok-1. Mar 17, 2024

AI 导读

xAI 开源 Grok-1 的基础模型权重和网络架构，采用 Apache 2.0 许可。Grok-1 是 314B 参数的 Mixture-of-Experts 模型，每个 token 激活 25% 的权重，由 xAI 基于 JAX 和 Rust 的自研训练栈从零训练，预训练于 2023 年 10 月完成，未针对对话等具体应用做微调。使用说明见 github.com/xai-org/grok。

推荐理由

官方公告明确了 Grok-1 的参数规模、MoE 激活比例和 Apache 2.0 许可，读者可据此评估其开源使用条件。

正文 · AI 翻译

我们正在发布我们的Grok-1大语言模型的基础模型权重和网络架构。Grok-1 是一个由 xAI 从头训练的 3140 亿参数的混合专家模型。

这是 Grok-1 预训练阶段的原始基础模型检查点，该阶段于 2023 年 10 月结束。这意味着该模型未针对任何特定应用（如对话）进行微调。

我们根据 Apache 2.0 许可证发布权重和架构。

要开始使用该模型，请按照 github.com/xai-org/grok 上的说明进行操作。

模型详情

基于大量文本数据训练的基础模型，未针对任何特定任务进行微调。
314B 参数的混合专家模型，在给定 token 上有 25% 的权重处于激活状态。
由 xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练栈从头训练。