OxyGen 提出 VLA 推理统一 KV 缓存管理

Xiangyu Li 等作者发布论文，提出面向多任务并行 VLA 推理的统一 KV 缓存管理设计 OxyGen，将 KV Cache 视为跨任务、跨控制周期的一级共享资源，通过跨任务 KV 共享消除共享观测的冗余 prefill，并用跨帧连续批处理在每帧解码预算内推进未完成请求。 作者称，OxyGen 在 RTX 4090 上相比隔离执行最高提速 3.7 倍，可同时达到 200 tokens/s 以上的语言吞吐和 70 Hz 的动作频率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。