FlowWise 流式模型服务论文发布

Shinan Liu 等作者发布论文并开源了 FlowWise 流式有状态流量智能服务系统，论文已被 SoCC 2026 接收。该系统采用不确定性驱动的快慢级联：先用单包模型给出早期预测，仅将不确定的流升级到等待更多数据包的慢模型，以平衡延迟、服务速率和准确率。 作者称，FlowWise 在 16 ms 内服务 76.3% 的流，中位端到端延迟改善 40.5 倍；单台 16 核 CPU 服务器每秒可承载超过 48.5k 个新流。系统源代码已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。