Answer.AI 与 LightOn 发布 ModernBERT 编码器模型家族
Answer.AI 与 LightOn 发布 ModernBERT,一个替换 BERT 的 encoder-only 模型家族,含 base(149M 参数)和 large(395M 参数)两个尺寸,上下文长度达 8192 tokens。
推荐理由:发布方给出了速度、上下文长度和训练数据的具体改进点,读者可以据此评估它能否替换现有 BERT 类工作流。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Answer.AI 与 LightOn 发布 ModernBERT,一个替换 BERT 的 encoder-only 模型家族,含 base(149M 参数)和 large(395M 参数)两个尺寸,上下文长度达 8192 tokens。
推荐理由:发布方给出了速度、上下文长度和训练数据的具体改进点,读者可以据此评估它能否替换现有 BERT 类工作流。
OpenAI 发布 GPT-3 和 Codex 新版本,新增对已有文本进行编辑或插入内容的能力,而不再只是补全文本。
推荐理由:原文说明 GPT-3 与 Codex 新版本可在已有文本中编辑和插入内容,读者可据此了解其能力从补全扩展的方向。
Hugging Face 发布教程,讲解如何从零训练用于 Python 代码补全的 GPT-2 模型 CodeParrot。
推荐理由:原文给出从数据清洗到训练的完整代码流程,读者可以照此复现一个代码生成模型。
OpenAI 发布论文《Evaluating large language models trained on code》,研究如何评估在代码上训练的大语言模型。抓取仅获取到标题,正文内容暂缺。