清华团队发布 TokenRouter 路由服务系统
热点事件持续更新
清华团队发布 TokenRouter 路由服务系统
2 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 Tengxuan Liu 等人发布 TokenRouter，一个面向 token 级 LLM 路由的服务系统，为每个 LLM 启动独立子服务器并异步调度请求，延迟批处理调度器的超参数由吞吐数学模型推导。作者称，在多种路由算法、负载和模型组合下，其解码吞吐量比现有系统高 2.01–64.15 倍。 X 用户 Rohan Paul 称该工作来自清华，表述为在大小模型间做 token 级路由，并在 5 种路由方法上吞吐量比更强的现有方案提升 2.01 至 64.15 倍。该工作已被 NeurIPS 2026 接收，代码已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月10日 11:32
清华 TokenRouter：token 级 LLM 路由服务系统报道时间线
沿着报道，了解事件的不同侧面。
10月10日
- Rohan Paul清华 TokenRouter：token 级 LLM 路由服务系统
清华提出 TokenRouter 服务系统，在 token 级做大小模型路由，吞吐量最高达现有方案的 64.15 倍。它让每个模型独享服务器并来回传递半成品答案，同时保留 KV cache、短暂缓存请求以凑更大批次。在 5 种路由方法上，吞吐量比更强的现有方案提升 2.01 至 64.15 倍。
10月8日
- HuggingFace Daily PapersTokenRouter：面向 Token 级 LLM 路由的高效服务系统
TokenRouter 是一个面向 Token 级 LLM 路由的高效服务系统，遵循「请求中心编程、模型中心执行」原则，为每个 LLM 启动子服务器并异步调度请求，其延迟批处理调度器超参数由吞吐数学模型推导。在多种路由算法、负载和模型组合下，TokenRouter 的解码吞吐量比现有系统高 2.01-64.15 倍。该工作已被 NeurIPS 2026 接收，代码已开源。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1010月10日 12:00
- 近 24 小时变化
- +120%
02.557.510
12:0018:0010月10日06:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。