跳到正文
热点事件持续更新

LMSYS 发布 S-LoRA 推理系统

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月2日,LMSYS Chatbot Arena 团队发布 S-LoRA,一个面向大规模 LoRA 适配器服务的推理系统,代码已开源。据该团队介绍,系统采用 KV cache 与适配器权重的统一分页内存池、针对不同 rank 的异构批处理自定义 CUDA kernel,以及低通信开销的张量并行策略,可服务数千个并发 LoRA 适配器。目前事件仅有这一篇一手报道,后续进展尚待披露。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. LMSYS:Blog(Chatbot Arena 团队)
    LMSYS 发布 S-LoRA:可服务数千个并发 LoRA 适配器的推理系统

    LMSYS Chatbot Arena 团队发布 S-LoRA,一个面向大规模 LoRA 适配器服务的系统,代码已开源。系统采用 KV cache 与适配器权重的统一分页内存池、针对不同 rank 的异构批处理自定义 CUDA kernel,以及低通信开销的张量并行策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。