OpenRouter 发布基于市场花费信号的新版 Auto 路由

市场的魅力在于，大量多元化的独立个体集体做出的判断和决策，优于任何单一专家。OpenRouter 每天处理数万亿个 token，我们一直在研究一种新方法，来分享这数百万人在模型选择上的集体智慧。

今天我们推出了 Auto router（openrouter/auto）的一次重大更新，它基于 OpenRouter 上每周超过 55T 的 token 支出数据。我们发现，由市场支出驱动的模型选择，在广泛的任务和成本水平上都优于我们旧版 Auto router 的选择。通过参考过去 7 天的 OpenRouter 使用数据，它始终能跟上新模型的发布。

过去几周，我们与数千人一起以 beta 形式测试了这一方法，今天我们已将其部署给所有使用 Auto router 的用户。现在就可以向我们的任意推理端点发送 "model": "openrouter/auto" 来试用，或阅读文档了解详情。

为了驱动这个路由器，我们将对代表性提示样本运行的任务分类，转化为一条帕累托最优的路由曲线。这与我们按任务支出排列的模型排名所展示的底层数据相同。你可以通过发送 cost_tier 参数来指定所需的成本水平，在选择模型时它会遵守你账户中的任何护栏/隐私设置。

我们使用跨领域的基准测试来验证新版 Auto router 的性能

我们将路由器设计得灵活通用，因此用一组刻意多样化的基准测试来评估它：MMLU Pro（知识）、τ³-bench Banking（智能体）、WideSearch（搜索）、DSQA（研究）和 SWE-Atlas QnA（编程）。

为了对新版路由器在默认成本水平下的选择有信心，我们需要看到它在降低成本的同时达到与旧版路由器相同的性能水平。我们在大多数领域都看到了这一点，只有少数例外，即旧版 Auto router 表现不如现代的低成本模型。在最高成本水平下，我们的标准是前沿性能，即使最终成本高于旧版路由器。

Two-row comparison of the new router's Default and Max results against corresponding old router settings across MMLU Pro, τ³-bench Banking, WideSearch, DSQA, and SWE-Atlas QnA.

新版路由器的默认值为 cost_tier=low，旧版路由器为 cost_quality_tradeoff=7。最高成本水平比较的是 cost_tier=max 与 cost_quality_tradeoff=0。

基准测试	新版默认	旧版默认	新版最高	旧版最高
MMLU Pro（知识）	85.2% ±0.3	86.6% ±0.1	91.4% ±0.3	88.8% ±0.3
τ³-bench Banking（智能体）	20.6% ±1.0	21.0% ±1.0	31.6% ±1.6	7.2% ±2.7
WideSearch（搜索）	61.6% ±2.6	53.1% ±2.6	61.9% ±2.4	54.8% ±2.6
DSQA（研究）	62.9% ±1.6	43.2% ±1.7	63.0% ±1.6	42.3% ±1.7
SWE-Atlas QnA（编程）	30.4% ±2.0	30.4% ±2.3	60.7% ±1.7	2.4% ±0.0

这些结果反映的是某一时刻的情况，会随着社区偏好的变化而变化。我们使用基准测试来了解不同路由策略之间的相对性能，以建立信心，相信群体智慧确实能为你带来更好的结果。我们的假设是，随着更多人采用 OpenRouter，高效的模型选择会随时间不断改进。

成本比较

新版路由器的默认成本档位将在各种工作负载下都具备成本效益，而最高档位则允许使用更广泛的高成本模型，适用于性能比支出更重要的情况。

基准测试	新版默认	旧版默认	新版最高	旧版最高
MMLU Pro（知识）	$140.93	$393.34	$255.71	$449.61
τ³-bench Banking（智能体）	$155.89	$320.04	$168.41	$99.36
WideSearch（搜索）	$30.75	$31.83	$36.89	$31.60
DSQA（研究）	$276.00	$147.11	$248.83	$144.18
SWE-Atlas QnA（编程）	$297.23	$463.73	$1,325.08	$205.52

任何在多个模型之间切换的路由策略，在重建输入缓存时都会带来一定的成本增加。通常，为了切换到更适合新任务的模型，这种成本是值得的，但如果模型切换过于频繁，则可能造成浪费。Auto 路由器实现了“粘性”行为，让多轮对话保持在同一个模型上，直到所用模型不再是该任务的首选为止。

新的 Auto 路由器如何工作

新的 Auto 路由器根据 OpenRouter 用户整体上针对你的提示所代表的那类任务实际使用哪些模型来做出决策。可以把它想象成一个始终保持最新、且随着使用 OpenRouter 的人越多而变得越高效的市场指数。

下面的模型混合图展示了新的 Auto 路由器的路由曲线如何将每种任务类型映射到 cost_tier 设置：low、medium、high、xhigh 和 max。这是一个时间点快照：随着新模型发布以及 OpenRouter 社区使用模式的变化，路由曲线也会随之变化。

New Auto router routing grid showing model selections for code, agents, data, and writing and chat task types across low (cheapest fifth), medium, high, xhigh, and max (priciest fifth) cost tiers, with a provider color legend along the bottom 此快照截至 8 月 10 日。最新信息请参见排行榜页面。

它使用的排名是根据聚合的匿名支出统计数据计算得出的，从而保护我们所有客户的隐私和数据政策。你的提示在传输过程中即被分类，无需留存。其工作方式如下：

对任务进行分类。一个快速、轻量的分类器会将每个提示归入约 30 种细粒度任务类型之一，例如代码调试、多步智能体规划、知识问答、数学、客户支持或研究报告。
按真实支出份额排名。对于该任务类型，新的 Auto 路由器会查询 OpenRouter 社区在过去 7 天内实际支出在哪些模型上，类似于我们排行榜页面中的“支出份额”视图。这是一个实时信号：当人们将某个工作负载迁移到新模型时，路由器会在几天内跟进。
应用你的成本层级。cost_tier 设置（low、medium、high、xhigh 或 max）决定你愿意花多少钱，并选择匹配的成本区间候选模型。在 low 下，路由会停留在每种任务中最便宜且够用的模型；在 max 下，它会从能力最强、价格最高的模型中选择。
带备选方案进行路由。选中的模型会成为首选，外加按使用份额排序的备选模型。路由会遵守你的请求和账户上的模型与提供商限制，例如允许的模型、护栏和 ZDR 政策。如果分类或排名不可用，路由器会回退到默认模型集，因此请求绝不会因为路由问题而失败。

在多轮对话中，路由器会记住对话最终使用的模型，并在后续轮次中优先使用它。它会通过显式提供的 session_id 来识别对话，否则通过消息指纹来识别。候选模型每轮仍会从头排名，记住的模型只有在仍处于顶级候选之列时才会被复用，因此当任务变化时，更适合的模型可以接管。

立即试用新的 Auto 路由器

Auto 路由器可在你通常填写模型字符串的任何地方使用：

{
  "model": "openrouter/auto",
  "messages": [
    { "role": "user", "content": "Explain quantum entanglement in simple terms" }
  ]
}

或者设置你的成本层级并限制候选集：

{
  "model": "openrouter/auto",
  "messages": [{ "role": "user", "content": "..." }],
  "plugins": [{
    "id": "auto-router",
    "cost_tier": "max",
    "allowed_models": ["anthropic/*", "openai/*"]
  }]
}

cost_tier 参数接受 low、medium、high、xhigh 或 max，用于设定你愿意花费的成本：low 会路由到最便宜且具备相应能力的模型，max 则始终从能力最强的模型中选择。旧的 Auto 路由器暴露一个数值型 cost_quality_tradeoff 设置，其中 0 是高质量设置，数值越高越注重成本，默认为 7。cost_quality_tradeoff 参数出于向后兼容仍被接受，并保留其原有的成本上限行为，如果你同时发送两者，它以优先。

响应中的 model 字段会告诉你选择了哪个模型，并且没有额外费用；无论运行哪个模型，你都按标准费率付费。详情请参阅新的 Auto 路由器文档，其中包括多轮对话的会话粘性。

使用 `openrouter/auto-beta` 抢先获得新改进

我们将继续改进此路由器，以随时间优化模型选择和缓存性能。任何想率先尝试最新路由行为的人都可以使用 openrouter/auto-beta，这些变更会先在那里落地，然后才到达 openrouter/auto。新路由器已在这里运行了几周，有数千人将其用于真实工作负载。欢迎在我们的 Discord 中或通过你的客户代表告诉我们你的发现。