Prime Intellect（网页）·· 12 小时前精选AI 评分65
Prime Intellect 发布 INTELLECT-1：首次全球分布式训练 10B 参数模型
AnnouncementsOCT 11TH, 2024INTELLECT–1: Launching the First Globally-Distributed Training of a 10B Parameter Model
AI 导读
Prime Intellect 启动 INTELLECT-1，称其为首个全球分布式训练的 10B 参数模型，基于 Llama-3 架构，使用超过 6 万亿 token 的数据混合（55% Fineweb-Edu、20% DLCM、20% Stack v2、5% OpenWebMath），并邀请任何人贡献算力。
推荐理由
原文给出INTELLECT-1的训练规模、数据配比和通信优化细节，读者可据此了解全球分布式训练10B模型的可行路径。
来源：Prime Intellect（网页） · primeintellect.ai