arXiv:cs.AI(全量分类)· Gaurav Agarwal, Ashish Garg, Isha Singhal·· 3 小时前AI 评分34
DLFP:一种无模型预填充控制器及其泛化边界
Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits
AI 导读
研究者提出 Decode-Latency Feedback Prefill(DLFP),一种只调整与活跃解码重叠的预填充工作量的无模型控制器,已在 vLLM 中实现。
来源:arXiv:cs.AI(全量分类) · arxiv.org