Answer.AI 官方研发博客（RSS）· Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Johno Whitaker, Jeremy Howard, Iacopo Poli·· 2024-12-19精选AI 评分76
Answer.AI 与 LightOn 发布 ModernBERT 编码器模型家族
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 发布 ModernBERT，一个替换 BERT 的 encoder-only 模型家族，含 base（149M 参数）和 large（395M 参数）两个尺寸，上下文长度达 8192 tokens。
推荐理由
发布方给出了速度、上下文长度和训练数据的具体改进点，读者可以据此评估它能否替换现有 BERT 类工作流。
来源：Answer.AI 官方研发博客（RSS） · answer.ai