跳到正文
热点事件持续更新

小模型用工具调用管理长上下文,8K追平1M

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究团队提出不原生训练长上下文,而是让模型通过两个工具管理上下文:以任意指定提示自我调用,以及读取输入上下文中的 token 区间,并据此微调 Qwen3.6-35B-A3B。 在 OOLONG-synth 基准上,当文档长度超过 40K tokens 时,仅用 8,000 tokens 上下文的该模型表现与拥有 1M tokens 上下文的 GPT-5.4 相当。该论文由 Bryce Sandlund 提交。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    训练智能体式上下文管理:Qwen3.6-35B-A3B 用 8K 上下文追平 GPT-5.4 的 1M

    研究团队不原生训练长上下文,而是让模型通过"自我调用"和"读取输入上下文 token 区间"两个工具来管理上下文,并据此微调 Qwen3.6-35B-A3B。在 OOLONG-synth 基准上,当文档长度超过 40K tokens 时,仅用 8,000 tokens 上下文的该小模型表现与拥有 1M tokens 上下文的 GPT-5.4 相当。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。