Together AI 发布持续编译推理系统 TKCC
热点事件持续更新
Together AI 发布持续编译推理系统 TKCC
2 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
Together AI 发布 Together Compiler（TKCC），称这是一个面向 AI 推理的持续编译优化循环，用高吞吐智能体针对多变的推理负载做持续优化。该公司称，TKCC 目前每天处理数万亿 token，并在不到 24 小时内在前沿开源模型上实现最高 2.6 倍的 TPS 提升。 在 Trainium2 上的测试没有使用 AgentX，而是改用合成多轮数据集（输入 70k、新增输入 3.5k 且 95% 命中缓存、输出 700）。Together AI 解释称，原因是其实现受 HBM 容量限制，尚不支持更高并发。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 08:00
Together Compiler（TKCC）：面向 AI 推理的持续编译优化系统报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Together AI 研究与产品博客Together Compiler（TKCC）：面向 AI 推理的持续编译优化系统
Together AI 推出 Together Compiler（TKCC），一个面向 AI 推理的持续优化循环，不到 24 小时在前沿开源模型上实现最高 2.6x 的 TPS 提升。
- Together AI 研究与产品博客Together AI 发布 Together Compiler：面向 AI 推理的持续编译系统
Together AI 发布 Together Compiler（TKCC），用高吞吐智能体对多变的推理负载做持续编译优化，官方称这是首个真正的持续 RSI 系统。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。