跳到正文
原文
arXiv:cs.AI(全量分类)· Gaurav Agarwal, Ashish Garg, Isha Singhal·· 3 小时前AI 评分34

DLFP:一种无模型预填充控制器及其泛化边界

Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits

AI 导读

研究者提出 Decode-Latency Feedback Prefill(DLFP),一种只调整与活跃解码重叠的预填充工作量的无模型控制器,已在 vLLM 中实现。

来源:arXiv:cs.AI(全量分类) · arxiv.org