Sakana AI· @SakanaAILabs · X·· 2 小时前AI 评分34
AI 导读
面向 Sakana Namazu 的 API 提供，我们与 @modal 推进的推理优化工作在该公司博客中做了介绍。 https://modal.com/blog/sakana-case-study ・在保持日语性能的同时用 NVFP4 量化 ・用以 Namazu 输出训练的草稿模型进行投机解码，每步接受的 token 数提升 43% ・通过 KV-aware routing 解决了响应开始前等待时间骤增的问题 感谢 Modal 的各位，今后也将继续推进技术创新，以提供更快更稳定的模型。
正文 · 原文
Sakana NamazuのAPI提供に向けて@modalと進めてきた推論最適化の取り組みが、同社ブログで紹介されました。
https://modal.com/blog/sakana-case-study
・日本語性能を保ったままNVFP4で量子化
・Namazuの出力で学習したドラフトモデルによる投機的デコーディングで、1ステップあたりの受理トークン数が43%向上
・KV-aware routingにより、応答開始までの待ち時間の急増を解消
Modal社の皆さまに感謝するとともに、今後もより速く安定したモデル提供に向けた技術革新を進めていきます。
We worked with @SakanaAILabs to optimize their Sakana Namazu API down to the kernel level: → Selective NVFP4 quantization (23k+ experts) → DFlash draft model trained on raw token streams (+25% acceptance) → In-house prefix KV routing + serverless autoscaling在 X 查看被引用的帖子
来源：Sakana AI · x.com