研究者提出Token级调度框架TWP
热点事件持续更新
研究者提出Token级调度框架TWP
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者 Hardi Ashishbhai Desai、Balaji N K 和 Sourav Kanti Addya 提出 Token Window Pacing（TWP），一个面向无服务器 LLM 推理的闭环调度框架。其做法是依据 ITL（token 间延迟）、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合 chunk-based prefill 减少干扰。 该框架目前以论文形式提出，报道中未给出在实际系统中的部署效果或性能数据。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
面向 Serverless LLM 推理的稳定 Token 级调度报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI面向 Serverless LLM 推理的稳定 Token 级调度
研究者提出 Token Window Pacing（TWP），一个基于 ITL、队列深度和工作负载反馈的闭环调度框架，在 token 级而非 batch 级调节请求准入，并结合 chunk-based prefill 减少干扰。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。