SchemaFill：槽位并行投机解码加速LLM工具调用
热点事件持续更新
SchemaFill：槽位并行投机解码加速LLM工具调用
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Zhi-Kai Chen 等作者提交论文，提出 SchemaFill 框架，用槽位并行投机解码提升 LLM 工具调用效率。其做法是并行生成未来槽位值的候选，再由目标模型在实际输出前缀下验证，只提交通过验证的 token。 据论文，在 Glaive 和 BFCL 上，SchemaFill 相比自回归解码实现最高 4.05 倍的端到端吞吐量提升，代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
SchemaFill：通过槽位并行推测解码实现高效 LLM 工具调用报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv：cs.LGSchemaFill：通过槽位并行推测解码实现高效 LLM 工具调用
SchemaFill 是一个通过槽位并行推测解码实现高效 LLM 工具调用的框架，可并行生成未来槽位值作为候选，再由目标模型在实际输出前缀下验证，仅提交通过验证的 token。在 Glaive 和 BFCL 上，SchemaFill 相比自回归解码实现最高 4.05 倍的端到端吞吐量提升，代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。