OctoLong：跨仓库代码上下文做中期训练

Indraneil Paul 等作者发布论文，提出 OctoLong——一条结合 AST 解析器、language server 后端与包管理器的上下文工程流水线，可递归检索代码引用，构建长达数百万 token 的依赖密集型代码上下文。 研究团队用该流水线做上下文扩展中期训练：约 500 亿 token 的混合数据中约 62 亿 token 为 OctoLong 代码上下文，之后再做约 100 亿 token 的指令微调。 由此得到的 OctoLong-Instruct 长上下文开源模型套件，基于 6 亿至 140 亿参数的基础模型衍生。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。