Liquid AI 发布 LFM2.5-24B-A2B：24B 总参数、2B 激活的端侧推理智能体模型

LFM2.5-24B-A2B 是一个拥有 24B 参数的推理模型，但仅有 2B 激活参数，专为设备端快速、私密的智能体而打造。它先思考再作答，能调用工具，并能在主流智能体框架内完成多步任务。由于每个 token 仅激活 2B 参数，每个推理 token 的成本都很低，因此你可以在自己的硬件上持续运行智能体。

同类最佳智能体： 在智能体与工具使用任务上，与 Qwen3.6-35B-A3B（总参数和激活参数均多出约 50% 的模型）不相上下，在 LiveClaw 上得分为 48.09，而后者为 38.19。
以 MoE 速度进行推理： 始终先思考再作答。每个 token 仅激活 2B 参数，每个推理 token 的成本都很低。
高效推理： 在 Apple M5 Max 上达到 184 tok/s，在单块 NVIDIA B300 GPU 上输出最高可达 21K tok/s。

我们如何构建一个仅有 2B 激活参数的推理智能体

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并沿用了其架构：40 层，每个 MoE 块 64 个专家并采用 top-4 路由，以及门控短卷积与 GQA 的相同混合结构。上下文窗口从 32K 扩展到 131K token，并通过原地 tokenizer 扩展将词表从 65K 翻倍至 128K token，以改善非拉丁语系的 token 化。与其前身不同，它是一个纯推理模型，在给出最终答案之前会生成显式的思维链。

预训练规模从约 17T token 扩大到约 33T token。中期训练随后加入 2T token、32K 上下文，侧重推理、数学、代码、指令遵循和多语言文本，以及 300B token、131K 上下文，侧重长上下文数据。工具调用和多轮轨迹贯穿这两个阶段。后训练通过五个阶段将基础模型转化为智能体：

监督微调（SFT）
教师专精化
多领域在线策略蒸馏（MOPD），非智能体： 在非智能体任务上蒸馏专精教师模型。
MOPD，智能体： 第二个蒸馏阶段，聚焦于智能体任务。
智能体强化学习（Agentic RL）： 在智能体框架内训练模型，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。

基准测试结果

我们在 16 项基准测试上将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了对比，这些基准覆盖工具使用与智能体工作流、知识、指令遵循、数学和编码。它是该组中规模最小的模型，但与总参数和激活参数多出约 50% 的 MoE 模型相比仍具竞争力。

基准测试	LFM2.5-24B-A2B	Qwen3.6-35B-A3B	Gemma-4-26B-A4B-it	Nemotron-3.5-Lightning (30B-A3B)
AutomationBench	27.69	8.72	5.46	2.61
BFCLv4	65.01	65.00	57.09	53.78
ToolSandbox	80.71	75.02	72.09	75.13
LiveClaw	48.09	38.19	41.25	37.72
PinchBench	83.18	89.93	77.12	84.20
τ³-Bench Banking	8.04	7.63	4.54	7.01
WebArena Verified	26.75	37.62	25.62	28.69
GPQA Diamond	74.42	83.69	74.90	72.42
AA-Omniscience	-24.90	-24.35	-59.39	-3.58
HLE	7.40	7.69	8.57	5.65
IFEval	96.75	93.06	92.00	94.19
IFBench	74.69	64.21	47.44	71.67
Multi-IF	84.38	81.53	82.19	82.34
MATH-500	96.04	96.73	95.66	96.40
SWE-Bench Verified (OpenCode)	51.00	66.20	25.80	53.40
SciCode	32.71	37.35	35.42	27.78

*所有模型均使用 vLLM 进行评估，并采用各基准推荐的生成参数。

对于你的应用来说，优势在于工具调用和指令遵循。LFM2.5-24B-A2B 在八个工具调用与智能体基准中的五个上领先或持平（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking），在 AutomationBench 上的得分是第二名模型的三倍多。它在全部三个指令遵循基准上也处于领先。更大的模型在知识密集型基准（如 GPQA Diamond、HLE 和 AA-Omniscience）以及编码基准（如 SWE-Bench Verified（OpenCode）和 SciCode）上仍有优势，因此对于知识密集型工作负载，可将 LFM2.5-24B-A2B 与检索或网络搜索配合使用。

这些结果使 LFM2.5-24B-A2B 成为需要在你的设备上进行推理、调用工具并可靠运行的智能体的强大基础。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 发布即获得整个推理生态的支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。 LFM2.5-24B-A2B 是所比较的 MoE 中最快的，在 M5 Max 上解码速度达 184 tokens/s，在 Ryzen AI Max+ 395 上达 114 tokens/s。这比第二好的模型快多达 1.7 倍，同时使用的内存最少。

GPU 推理。 LFM2.5-24B-A2B 是其规模级别中最快的模型，在单块 B300 上高并发时输出速度超过 21K tokens/s。

如何使用 LFM2.5-24B-A2B

当你需要能在你的设备上进行推理、调用工具并可靠运行的智能体时，请选择 LFM2.5-24B-A2B。

安装最新版本的 transformers（兼容 transformers>=5.0.0）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在你的智能体框架中使用它

在本地任意 OpenAI 兼容后端之后部署 LFM2.5-24B-A2B，然后将你的智能体框架指向它。例如，使用 Hermes Agent：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于你的服务后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。有关 OpenClaw 和 Pi 配置，请参阅模型卡；有关完整设置，请参阅我们的指南。请查看我们的发布博客以获取视频示例。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重，现已在 Hugging Face 上提供：

下载： Hugging Face 上的LFM2.5-24B-A2B-Base和LFM2.5-24B-A2B。
在你的框架中使用：请遵循我们的指南，了解如何运行本地智能体，例如 OpenClaw、Hermes Agent 和 Pi。
微调：使用我们的微调教程将 LFM2.5-24B-A2B 适配到你的任务。

我们迫不及待想看到你构建的作品。

引用

如果你使用本工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}