arXiv：cs.CL（计算语言学，全量分类）· Jiangnan Yu, Ceyu Xu, Mengming Li, Shiyu Huang, Yiran Xia, Jian Weng, Hui Xue, Haohui Mai, Yuan Xie·· 2 小时前AI 评分46
TomasuLLM：面向 LLM 智能体的乱序推测执行运行时
TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
AI 导读
TomasuLLM 是一个让 LLM 智能体乱序执行工具调用的运行时，通过推测未来动作、在隔离的 copy-on-write 沙箱中提前运行并按轨迹顺序提交结果，在保持任务正确性的同时缩短延迟。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org