跳到正文
原文
Liquid AI 模型与工程博客(网页)·· 15 小时前AI 评分54

Liquid AI 发布 LFM2.5 系列 DSpot 投机解码草稿模型,GPU 推理最高提速 3.2x

LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook

AI 导读

Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 三个模型发布 DSpot 草稿模型权重,通过投机解码在不改变输出质量的前提下大幅提升解码速度,草稿模型约为 3 亿参数。

来源:Liquid AI 模型与工程博客(网页) · liquid.ai