Hugging Face：Blog（RSS）·2026-09-22 08:00· 9 天前精选AI 评分62

Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 为 transformers 加入 GGUF 模型支持，用户可从 Hub 选取 GGUF 检查点，通过 from_pretrained 传入 gguf_file 在本地生成。

推荐理由

Hugging Face 把 GGUF 量化模型接入 transformers，读者可据此判断本地推理工作流会如何变化。