RadixFlow 优化混合 LLM 前缀缓存调度
热点事件持续更新
RadixFlow 优化混合 LLM 前缀缓存调度
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Huihao Jing 等作者提出 RadixFlow，将前缀匹配与状态就绪解耦，把原先的全局扫描屏障改为局部等待，使被阻塞的 consumer 不再拖住可独立执行的分支，从而消除混合 LLM 服务中的执行气泡。 在五个混合模型上，该方法报告平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变；在更大的 Qwen3.5 模型上，消融显示大部分收益来自遍历，全注意力对照组收益很小；更重的轮次会限制这种节省转化为延迟下降的程度。上述数据均来自作者自报的论文，尚未见独立复现。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
RadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AIRadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡
RadixFlow 将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，让被阻塞的 consumer 不再拖住可独立执行的分支。在五个混合模型上，平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变。在更大的 Qwen3.5 模型上，消融显示大部分收益来自遍历，而全注意力对照组收益很小。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。