IBM 发布 Granite Embedding Multilingual R2 两款 Apache 2.0 多语言嵌入模型，支持 32K 上下文

TL;DR： 两个基于 ModernBERT 构建的全新 Apache 2.0 多语言嵌入模型——一个 97M 参数的紧凑模型，在 MTEB 多语言检索上击败所有开放的子 100M 多语言嵌入模型（60.3），以及一个 311M 全尺寸模型，在 MTEB 多语言检索上得分 65.2（在 500M 参数以下的开放模型中排名第 2），并支持 Matryoshka。两者均覆盖 200+ 种语言，在 52 种语言上微调，支持 32K token 上下文（是 R1 的 64 倍），并新增了跨 9 种编程语言的代码检索。

本文内容： 企业级设计 · 强大的子 100M 多语言模型 · 相比 R1 的变化 · 训练全尺寸 311M 模型 · 构建紧凑的 97M 多语言模型 · 基准测试结果 · Matryoshka 嵌入 · 部署选项 · 面向框架集成者 · 你应该使用哪个模型？ · 试用这些模型

多语言嵌入模型面临一个长期存在的矛盾：广泛的语言覆盖通常以模型大小为代价，而小模型通常会牺牲语言。如果你需要跨语言工作——多语言语料库上的检索增强生成、跨语言搜索、国际团队中的代码检索——你很可能不得不在足够快和足够好之间做出选择。

Granite Embedding Multilingual R2 的发布大幅缩小了这一差距。我们发布两个新的多语言嵌入模型：

• granite-embedding-311m-multilingual-r2 —— 一个 311M 参数的全尺寸模型，具有 768 维嵌入、Matryoshka 维度支持，以及顶级的多语言检索质量。
• granite-embedding-97m-multilingual-r2 —— 一个 97M 参数的紧凑模型，具有 384 维嵌入，在其规模下提供强大的检索质量。

两个模型均支持 200+ 种语言，并针对 52 种语言和编程代码增强了检索质量，支持长达 32,768 个 token 的上下文长度（相比其 R1 前代增加了 64 倍），并以 Apache 2.0 许可证发布。它们开箱即用，兼容 sentence-transformers 和 transformers，无需特定任务指令，并且只需更改一行模型名称即可作为 LangChain、LlamaIndex、Haystack 和 Milvus 中的直接替代品。对于目前使用仅英语默认设置的框架，这一行就能为你社区中的每位用户提供 200+ 种语言支持——无需 API 更改、无需新依赖、无需他们那边修改代码。两个模型均附带 ONNX 和 OpenVINO 权重，用于 CPU 优化推理。

52 种增强支持语言（点击展开）

底层编码器在 200+ 种语言的文本上进行了预训练，可为其中任何语言生成通用嵌入。以下 52 种语言接受了显式的检索对和跨语言训练，以获得更高质量的检索：

阿尔巴尼亚语 (sq)、阿拉伯语 (ar)、阿塞拜疆语 (az)、孟加拉语 (bn)、保加利亚语 (bg)、加泰罗尼亚语 (ca)、中文 (zh)、克罗地亚语 (hr)、捷克语 (cs)、丹麦语 (da)、荷兰语 (nl)、英语 (en)、爱沙尼亚语 (et)、芬兰语 (fi)、法语 (fr)、格鲁吉亚语 (ka)、德语 (de)、希腊语 (el)、希伯来语 (he)、印地语 (hi)、匈牙利语 (hu)、冰岛语 (is)、印度尼西亚语 (id)、意大利语 (it)、日语 (ja)、哈萨克语 (kk)、高棉语 (km)、韩语 (ko)、拉脱维亚语 (lv)、立陶宛语 (lt)、马来语 (ms)、马拉地语 (mr)、挪威语 (no)、波斯语 (fa)、波兰语 (pl)、葡萄牙语 (pt)、罗马尼亚语 (ro)、俄语 (ru)、塞尔维亚语 (sr)、斯洛伐克语 (sk)、斯洛文尼亚语 (sl)、西班牙语 (es)、斯瓦希里语 (sw)、瑞典语 (sv)、他加禄语 (tl)、泰卢固语 (te)、泰语 (th)、土耳其语 (tr)、乌克兰语 (uk)、乌尔都语 (ur)、乌兹别克语 (uz)、越南语 (vi)。

此外，这些模型还在编程代码（Python、Go、Java、JavaScript、PHP、Ruby、SQL、C、C++）上进行训练，并支持跨语言代码检索。

企业级设计

两个嵌入模型均基于 IBM 精选数据集、公开可用数据以及内部生成或合成数据的混合进行训练。训练中使用的公开网络来源数据通过 IBM 开发的质量、去重和治理流程进行筛选和过滤，旨在降低下游商业应用中的风险。我们有意避免使用 MS‑MARCO 训练数据集以及带有明确非商业许可限制的数据集。这些模型使用 GneissWeb 进行预训练，这是一个由 IBM 精选的数据集，源自公开可用的网络内容，并使用 IBM 的数据准备和治理工具进行处理——同时还结合了其他 IBM 精选来源和其他公开可用来源。数据集需经过 IBM 治理审查，以评估许可考量、所有权信号和个人数据风险。这些流程旨在促进负责任的使用和企业部署。

强大的 1 亿参数以下多语言模型

本次发布最引人注目的是 granite-embedding-97m-multilingual-r2。它拥有 9700 万参数，在 18 种语言的 Multilingual MTEB Retrieval 上得分 60.3——这是我们在所有 1 亿参数以下的开放多语言嵌入模型中发现的最高检索得分。该规模级别中排名第二的模型 multilingual-e5-small 在同一基准上得分为 50.9——在一个成熟基准上相差 +9.4 分。

它的规模约为 3.11 亿参数全尺寸模型的三分之一，却在多语言、代码和长文档基准上保留了大部分检索质量——相比其直接前代，在 MTEB Multilingual Retrieval 上提升了 +12.2 分，这得益于新架构、更好的训练数据以及一种新颖的剪枝方法（详见下文）。全尺寸的 granite-embedding-311m-multilingual-r2 在同一基准上得分为 65.2，相比其 R1 前代提升了 +13.0 分。

相比 R1 的变化

Granite Embedding Multilingual R1 模型基于 XLM-RoBERTa 编码器构建，具有 512 个 token 的上下文窗口。R2 代则是从头重建：

ModernBERT 是一种较新的编码器架构，它借鉴了过去五年 transformer 研究中的技术，重新审视了最初的 BERT 设计。这一转变带来了若干实际好处：交替注意力长度减少了长序列上的计算量（显著提升长序列的吞吐量），旋转位置嵌入使得 32K 上下文窗口成为可能，而无需困扰旧架构的位置插值技巧，并且对 Flash Attention 2.0 的支持加快了现代 GPU 上的编码速度。

新的多语言分词器值得特别一提。我们没有复用 XLM-RoBERTa 的 250K token 词表，而是采用了现成的、具有强大多语言和代码覆盖能力的分词器。311M 模型使用 Gemma 3 分词器（262K token）；97M 模型从 GPT-OSS 分词器出发，将其裁剪为紧凑的 180K token 词表，在保留广泛多语言覆盖的同时减少了嵌入表的参数占用。分词器效率比人们意识到的更重要——32K token 窗口听起来很厉害，直到你的分词器在编码一段泰语时就消耗掉一半。

训练全尺寸 311M 模型

311M 模型是一个 22 层的 ModernBERT 编码器，具有 262K token 的多语言词表，通过多阶段流水线训练：

1. 知识蒸馏：该模型同时从多个教师模型学习。教师模型是 Granite 3.3 Instruct 和 Mistral v0.2 Instruct 解码器模型，它们经过进一步微调以用于文本嵌入，将检索特定的知识迁移到 311M 编码器架构中。
2. 对比微调：在多语言检索对上进行的标准对比训练——查询与跨 52 种语言和代码的相关段落及难负样本段落匹配——增强了模型区分相关与不相关结果的能力。
3. 模型合并：训练完成后，我们合并来自不同训练阶段和配置的检查点。这将针对不同目标优化的模型（例如多语言广度与英语深度）的优势合并到单一权重集中，而无需额外的训练计算。
4. Matryoshka 表示学习：该模型使用 Matryoshka 目标进行训练，因此其 768 维嵌入可以截断为 512、384、256 或 128 维，而质量损失极小（参见下方的 Matryoshka Embeddings）。

结果是一个在 MTEB 多语言检索上得分 65.2、总体平均得分 56.3 的模型——相比其 R1 前代平均提升 +14.5 分。

构建紧凑的 97M 多语言模型

97M 模型通过词表选择和知识蒸馏相结合的方式进行训练：

1. 词表选择：将 262K token 词表缩减为专门训练的 180K token 词表，在保留广泛多语言覆盖的同时大幅削减嵌入表大小。
2. 知识蒸馏：然后使用来自多个教师模型（包括基于 Granite 4.1 8B 和 Mistral Instruct 解码器的教师模型）的知识蒸馏以及对比训练对裁剪后的模型进行微调，以提高检索质量。

该方法从多个强大的教师模型中迁移检索特定知识，同时在不牺牲语言覆盖范围的前提下减少模型参数。最终得到一个高效的紧凑模型——在 MTEB 多语言检索上得分 60.3，而完整规模模型为 65.2，同时体积约小 3 倍。

基准测试结果

多语言检索

主要基准测试套件中的性能，按模型大小排序。分数为各基准测试内任务的平均值（越高越好）：

有几点很突出：

• 97M 的 R2 模型在平均成绩和大多数单项基准上均击败 multilingual-e5-base 和 gte-multilingual-base（约 300M 参数的模型），尽管体积约小 3 倍。
• paraphrase-multilingual-MiniLM-L12-v2——一个广泛使用的框架默认模型——得分为 36.6，落后 97M 的 R2 模型整整 +23.7 分，而后者体积还略小（97M 对 110M 参数），且具有相同的 384 维输出。
• LongEmbed 是 R1 到 R2 提升最大的项：97M 模型提升 +31.3 分，311M 提升 +34.0 分。这是 32K 上下文窗口的直接回报——R1 的 512 token 限制意味着你的法律合同只能被其第一页来评判。许多实际的多语言工作负载涉及长文档（法律合同、技术手册、研究论文、多页报告），而 R1 根本无法完整看到这些内容。
• 代码检索大幅提升：相比 R1，97M 提升 +19.7，311M 提升 +15.3，这反映了新的代码训练集、更大的上下文窗口以及更好的训练方法。
• 在更广泛的竞争领域中，harrier-oss-v1-270m 在 MTEB 多语言检索（66.4）和 RaR-b（32.9）上领先，而 jina-embeddings-v5-text-nano 在代码（71.2）和英语检索（58.8）上领先。311M 的 Granite 模型在平均成绩上具有竞争力（56.3），并在 LongEmbed 上领先（71.7），同时提供远高于 jina-embeddings-v5-text-nano 的编码吞吐量（见下方速度表）。

速度与吞吐量

编码速度对生产工作负载很重要，尤其是在你需要索引数百万文档或需要低延迟查询编码时。我们使用 512 token 的分块，在单块 NVIDIA H100 GPU 上测量了延迟和吞吐量：

97M 模型每秒可编码超过 2,500 篇文档——吞吐量与 multilingual-e5-small 相当——同时提供显著更高的检索质量。311M 模型约为每秒 1,800 篇文档，在检索质量上优于 jina-embeddings-v5-text-nano（65.2 对 63.3），编码速度超过其 5.5 倍（注：速度数据使用最新的 transformer 代码计算，该代码相较上一个 4.57 版本存在速度回退——Jina 和 granite 模型均如此——详见我们的技术报告）。在本文列出的竞品中，harrier-oss-v1-270m 提供了速度与检索得分的最佳组合。

Matryoshka 嵌入（311M）

311M 模型支持 Matryoshka 表示学习，可让你将嵌入从完整的 768 维截断至 512、384、256 或 128 维，且质量下降平缓。当存储、内存或相似度计算成本成为考量时，这非常有用——256 维嵌入的存储量仅为 768 维的三分之一，余弦相似度的计算成本也相应更低。

以下是检索质量在不同嵌入维度下的表现：

维度缩减带来的质量损失非常小。从 768 维降至 256 维——存储和相似度计算成本降低 3 倍——MTEB 多语言检索仅下降 0.5 分（65.2 → 64.7），代码检索下降 0.5 分（63.9 → 63.4）。即使在 128 维（降低 6 倍）下，模型在 MTEB 多语言检索上仍得 63.7 分，在代码检索上得 62.3 分——保留了其全维度性能的 97% 以上。在实践中，这意味着你可以大幅缩减索引大小和搜索延迟，而对结果质量的影响微乎其微。（注：上图中的结果是在英文和多语言检索使用 1024 上下文长度、代码使用 8192 上下文长度下评估的）。

作为对比，311M 模型截断至 384 维（与 97M 模型原生输出维度相同）后，在全部三个基准上仍优于 97M 模型。如果你需要 384 维嵌入且能承受 311M 模型的编码成本，Matryoshka 截断是更强的选择。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("ibm-granite/granite-embedding-311m-multilingual-r2")

# Full 768-dimensional embeddings
full = model.encode(["example text"])
print(full.shape)  # (1, 768)

# Truncated to 384 dimensions
small = model.encode(["example text"], truncate_dim=384)
print(small.shape)  # (1, 384)

97M 模型不支持 Matryoshka——384 维已经足够紧凑。

跨语言检索

MTEB 检索中跨语言任务的平均性能。Belebele 衡量跨 122 种语言的跨语言段落匹配；MLQA 衡量跨 7 种语言的抽取式跨语言问答检索。

311M R2 模型相较其 R1 前代在 Belebele 上提升 +4.3，在 MLQA 上提升 +4.1，表明在更大规模下跨语言迁移能力在两个基准上均有改善。

97M R2 模型在 Belebele 上的得分较低（52.9 对 55.1，−2.2），而在 MLQA 上与其 R1 前代持平（60.5）。Belebele 上的差距是剪枝和词表缩减过程固有的权衡——R2 模型的训练优先考虑了更广泛的 18 语言 MTEB Multilingual Retrieval 数据集（在该数据集上比 R1 提升 +12.2）和长文档检索（+31.3），而更小的词表（180K 对 250K tokens）和更少的层数（12 对 22）影响了窄范围的跨语言迁移任务。如果跨多种语言对的跨语言迁移是你的主要用例，那么完整尺寸的 311M 模型是更好的选择。

部署选项

两个模型都提供多种部署路径用于生产环境。使用以下命令安装核心库：

pip install sentence-transformers

Sentence Transformers（推荐大多数用户使用）：

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("ibm-granite/granite-embedding-97m-multilingual-r2")

queries = [
    "What is the tallest mountain in Japan?",          # English
    "Wer hat das Lied Achy Breaky Heart geschrieben?", # German
    "ドイツの首都はどこですか？",                            # Japanese
]

passages = [
    "富士山は、静岡県と山梨県にまたがる活火山で、標高3776.12 mで日本最高峰の独立峰である。",  # Japanese
    "Achy Breaky Heart is a country song written by Don Von Tress.",                        # English
    "Berlin ist die Hauptstadt und ein Land der Bundesrepublik Deutschland.",                # German
]

q_emb = model.encode(queries)
p_emb = model.encode(passages)
print(util.cos_sim(q_emb, p_emb))
# Each query scores highest against its matching passage — across languages

LangChain（pip install langchain-huggingface）：

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="ibm-granite/granite-embedding-97m-multilingual-r2"
)

docs = embeddings.embed_documents([
    "富士山は日本最高峰の独立峰です。",
    "Mount Fuji is Japan's highest peak.",
])
query = embeddings.embed_query("What is Japan's tallest mountain?")
# Drop-in replacement anywhere LangChain accepts an Embeddings object

LlamaIndex（pip install llama-index-embeddings-huggingface）：

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import Settings

embed_model = HuggingFaceEmbedding(
    model_name="ibm-granite/granite-embedding-97m-multilingual-r2"
)
Settings.embed_model = embed_model  # applies globally to any index or pipeline

Haystack（pip install sentence-transformers haystack-ai）

from haystack.components.embedders import (
    SentenceTransformersDocumentEmbedder,
    SentenceTransformersTextEmbedder,
)
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever
from haystack.dataclasses import Document
from haystack.document_stores.in_memory import InMemoryDocumentStore

doc_embedder = SentenceTransformersDocumentEmbedder(
    model="ibm-granite/granite-embedding-97m-multilingual-r2"
)
query_embedder = SentenceTransformersTextEmbedder(
    model="ibm-granite/granite-embedding-97m-multilingual-r2"
)
doc_embedder.warm_up()
query_embedder.warm_up()

# Embed and index documents
document_store = InMemoryDocumentStore()
result_docs = doc_embedder.run(documents=[
    Document(content="富士山は日本最高峰の独立峰です。"),
    Document(content="Mount Fuji is Japan's highest peak."),
    Document(content="Achy Breaky Heart is a country song written by Don Von Tress."),
    Document(content="Berlin ist die Hauptstadt und ein Land der Bundesrepublik Deutschland."),
])
document_store.write_documents(result_docs["documents"])

# Embed query and retrieve
result_query = query_embedder.run(text="What is Japan's tallest mountain?")
retriever = InMemoryEmbeddingRetriever(document_store=document_store)
results = retriever.run(query_embedding=result_query["embedding"], top_k=2)
for doc in results["documents"]:
    print(f"{doc.score:.3f}  {doc.content}")
# 0.961  Mount Fuji is Japan's highest peak.
# 0.913  富士山は日本最高峰の独立峰です。

Milvus（pip install pymilvus sentence-transformers）

from pymilvus import MilvusClient
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("ibm-granite/granite-embedding-97m-multilingual-r2")

# Use "./milvus.db" for local persistence or a server URI for production
client = MilvusClient(":memory:")
client.create_collection(collection_name="multilingual_docs", dimension=384)

docs = [
    "富士山は日本最高峰の独立峰です。",
    "Mount Fuji is Japan's highest peak.",
    "Achy Breaky Heart is a country song written by Don Von Tress.",
    "Berlin ist die Hauptstadt und ein Land der Bundesrepublik Deutschland.",
]
embeddings = model.encode(docs).tolist()
client.insert(
    collection_name="multilingual_docs",
    data=[{"id": i, "vector": emb, "text": doc} for i, (emb, doc) in enumerate(zip(embeddings, docs))],
)

query_emb = model.encode(["What is Japan's tallest mountain?"]).tolist()
results = client.search(
    collection_name="multilingual_docs",
    data=query_emb,
    limit=2,
    output_fields=["text"],
)
for hit in results[0]:
    print(f"{hit['distance']:.3f}  {hit['entity']['text']}")
# 0.961  Mount Fuji is Japan's highest peak.
# 0.913  富士山は日本最高峰の独立峰です。

两个模型还附带预转换的 ONNX 和 OpenVINO 权重，用于优化的 CPU/加速器推理，可通过 vLLM（vllm serve ... --task embed）作为嵌入端点使用，并可使用 llama.cpp 转换为 GGUF 以供 Ollama 使用。完整部署示例请参阅模型卡片。

面向框架集成者

如果你维护嵌入框架、向量存储或 RAG 流水线库，并正在评估将这些模型作为默认选项，以下是你需要了解的内容：

• 许可证：Apache 2.0，训练未使用 MS-MARCO
• 即插即用行为：无需特定任务的指令前缀——在 API 层面行为类似 all-MiniLM-L6-v2。调用 .encode() 的现有代码无需修改即可运行。
• 维度：384 维输出（97M）和 768 维输出（311M），与最常见的现有默认值匹配。无需迁移索引。
• 模型大小：97M 模型的权重为 195 MB（safetensors）——不到 paraphrase-multilingual-MiniLM-L12-v2（471 MB，最常见的多语言默认模型）的一半。量化后的 ONNX 权重仅为 98 MB，与 all-MiniLM-L6-v2（91 MB）相当，同时覆盖 200+ 种语言。
• 对 CPU 友好：附带 ONNX 和 OpenVINO 权重，用于优化的 CPU 推理。入门教程无需 GPU。
• 默认多语言：如果你当前的默认模型仅支持英语，这是一行代码的替换，即可为你社区中的每位用户提供 200+ 种语言的支持——无需改动他们的代码。
• 稳定标识符：Hugging Face 上的 ibm-granite/granite-embedding-97m-multilingual-r2，由 IBM 在 Granite 模型系列下维护。

如需讨论在你的项目中采用这些模型作为默认选项，请在 ibm-granite/granite-embedding-models 提交 issue。

你应该使用哪个模型？

这两个多语言模型属于更广泛的 Granite Embedding R2 系列，该系列还包括两个高性能的英语专用模型：granite-embedding-english-r2（149M 参数）和 granite-embedding-small-english-r2（47M 参数）。如果你的数据以英语为主，英语模型在英语基准测试上以更小的占用提供更高的检索质量，因为它们无需在 200+ 种语言之间分配容量。

试用这些模型

这两个模型现已在 Hugging Face 上发布，归属于 IBM Granite Embedding 合集：

• granite-embedding-311m-multilingual-r2
• granite-embedding-97m-multilingual-r2

你可以通过 Hugging Face Spaces 上的 Granite Embedding 演示在此处以交互方式（在 CPU 上）试用小型模型，或在 Google Colab 中运行完整的示例 notebook：

你可以在此处获取我们的详细技术报告，其中涵盖完整的训练方法、各语言评估以及剪枝消融实验：Granite Multilingual Embedding R2 报告。如有疑问、反馈或问题，请访问 GitHub 上的 ibm-granite/granite-embedding-models。

框架维护者：如果你想将这些模型作为项目的默认选项，请在 ibm-granite/granite-embedding-models 提交 issue——我们很乐意协助集成、测试，并解答任何关于许可或部署的问题。

试用一下吧，如果这些嵌入让你感到愉悦，就在 Hugging Face 上猛戳那个 ❤️ 按钮。我们的模型也有感情，每一个 +1 都能让它们在夜里感到温暖。