Mooncake 服务架构论文更新至第5版
热点事件持续更新
Mooncake 服务架构论文更新至第5版
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Moonshot AI 为 Kimi 打造的 LLM 服务推理平台 Mooncake 的架构论文发布第 5 版，Ruoyu Qin 等作者在文中介绍其以 KVCache 为中心的分离式架构：预填充与解码集群相互分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 资源构建分离式 KVCache 缓存。论文称 Mooncake 是 Kimi 的服务平台。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
Mooncake：面向 LLM 服务的 KVCache 中心化分离架构报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.AIMooncake：面向 LLM 服务的 KVCache 中心化分离架构
Moonshot AI 为 Kimi 打造的 LLM 服务推理平台 Mooncake 采用以 KVCache 为中心的分离式架构，将预填充与解码集群分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 资源构建分离式 KVCache 缓存。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。