vLLM 官方博客（RSS）· Xunzhuo Liu, Bowei He, Huamin Chen, Haichen Zhang (AMD), Andy Luo (AMD), and the vLLM Semantic Router Team·· 2026-06-02AI 评分48
vLLM Semantic Router 推出 SAAR：面向长时程 LLM 智能体的会话感知路由
Session-Aware Agentic Routing: Continuity-Aware Model Selection for Long-Horizon LLM Agents
AI 导读
vLLM Semantic Router 新增会话感知智能体路由（SAAR），在语义路由之上加入路由器会话记忆、工具循环硬锁、安全重置边界、前缀缓存感知的切换定价与可回放轨迹。在 21,600 个确定性轮次中，SAAR 将模型切换减少 79.29%，消除 3,836 次不安全切换，物理模型成本估算降低 78.71%；在 2,896 个 AMD ROCm 实时请求中保持会话连续性，未观察到违规。
来源：vLLM 官方博客（RSS） · vllm.ai