Prime Intellect（网页）·· 12 小时前精选AI 评分67
Prime Intellect 发布全球分布式协作训练的 10B 模型 INTELLECT-1
AnnouncementsNOV 29TH, 2024INTELLECT-1 Release The First Globally Trained 10B Parameter Model
AI 导读
Prime Intellect 发布 INTELLECT-1，一个在五大国家、三大洲用最多 112 张 H100 协作训练的 10B 参数语言模型，训练 1T tokens 历时 42 天，基于 Llama-3 架构。
推荐理由
原文给出分布式训练的关键数字与方法细节，读者可以了解社区协作训练大模型的可行路径。
来源：Prime Intellect（网页） · primeintellect.ai