FluidPD：P/D 解耦 LLM 服务原地弹性调度
热点事件持续更新
FluidPD：P/D 解耦 LLM 服务原地弹性调度
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Kartik Ramesh 等作者提交论文，提出 FluidPD——一个面向 SLO 的预填充/解码（P/D）分离式 LLM 服务系统，通过原地弹性机制应对短时突发与持续性的阶段负载失衡。 该系统包含两项机制：FluidToken 在解码侧空闲时卸载部分预填充计算；FluidRole 在原地切换运行中 worker 的预填充与解码角色。作者称其提供 SLO 感知的原地弹性，但报道未给出实测效果或适用条件。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 12:00
FluidPD：面向 SLO 的预填充-解码分离式 LLM 服务原地弹性调度报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv：cs.AIFluidPD：面向 SLO 的预填充-解码分离式 LLM 服务原地弹性调度
FluidPD 是一个面向 SLO 的 P/D 分离式 LLM 服务系统，通过 FluidToken 在解码侧空闲时卸载部分预填充计算、FluidRole 原地切换运行中 worker 的预填充与解码角色，应对短时突发与持续性的阶段负载失衡。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。