跳到正文
原文
OpenRouter：Announcements（RSS）·· 2026-06-19精选AI 评分65

OpenRouter 对比 LiteLLM：如何为你的技术栈选择 LLM 网关

OpenRouter vs LiteLLM: Which LLM Gateway Fits Your Stack?

AI 导读

OpenRouter 发布与 LiteLLM 的选型对比：两者都提供 OpenAI 兼容 API，OpenRouter 是托管网关（0% 加价、信用购买收 5.5% 平台费），LiteLLM 是自托管代理（免费但需自运维 PostgreSQL、Redis 和 Docker）。

推荐理由

OpenRouter 官方对比两种 LLM 网关的架构、费用与合规差异，并给出按模型支出估算的成本分界点。

正文 · AI 翻译

如果你正在为生产网关在 OpenRouter 和 LiteLLM 之间做选择，决定因素在于路由层应该运行在哪里。

两者都能为你提供跨多个提供商的单一 OpenAI 兼容 API。OpenRouter 替你运行这一层，因此无需运维任何基础设施。LiteLLM 运行在你自己的基础设施内，因此你的数据留在自己的网络中，并且无需支付平台费，代价是你需要自己运维 PostgreSQL、Redis 和 Docker。

当数据不能离开你的网络、你需要在自己基础设施内实现基于角色的访问控制，或者你的模型支出高到 5.5% 的平台费超过运行代理的成本时，选择 LiteLLM。大多数其他情况更适合托管方案。

决定路由层运行在哪里

OpenRouter 位于你的应用与 70 多家提供商之间，运行在 Cloudflare 的边缘网络上。你的应用调用 https://openrouter.ai/api/v1，OpenRouter 应用路由和故障转移，并将请求转发给上游提供商。你无需管理服务器、数据库或各提供商的凭据。

LiteLLM 是一个你自己部署的代理，以 Docker 容器或 Kubernetes Pod 的形式运行。它在你的网络内暴露同样的 OpenAI 兼容端点，将每个请求重写为提供商的原生格式并转发。PostgreSQL 存储支出数据和密钥；Redis 在生产环境中处理缓存和速率限制。这三者都由你运行。

这一差异正是合规团队首先会问到的。使用 LiteLLM 时，请求数据在到达提供商之前从不离开你的网络。使用 OpenRouter 时，请求会先经过一个托管层，因此有严格数据驻留规则的团队应审查可用的路由和零数据保留控制。

OpenRouter:  app -> OpenRouter (Cloudflare edge) -> provider
LiteLLM:     app -> LiteLLM proxy (your infra: Docker + PostgreSQL) -> provider

各网关的成本

OpenRouter 以 0% 加价转嫁提供商定价，然后对按需付费的额度购买收取 5.5% 平台费，每笔购买最低 $0.80。自带密钥在计划相关的免费额度之后，按 OpenRouter 等效成本的 5% 收费；当前详情见定价页面。失败的请求不计费。

LiteLLM 自托管免费。你改为支付基础设施费用：PostgreSQL 数据库、可选的 Redis 以及计算资源，生产部署通常每月几百美元。LiteLLM Enterprise 增加了 SSO、SCIM、RBAC、审计日志和 Prometheus 指标，价格通过其销售团队商定。

临界点是算术问题。用你的每月基础设施成本除以 5.5% 的费率。在基础设施约 $200/月时，一旦你的模型支出超过约 $3,600/月，LiteLLM 就更便宜；在基础设施 $500/月时，这条线移到约 $9,100/月。低于这条线，托管费用低于运行代理的工程时间成本。

比较路由、故障转移和延迟

OpenRouter 默认路由表现良好。其自动路由器由市场智慧驱动，对每个提示进行分类，并根据 OpenRouter 社区在该任务类型上过去 7 天窗口内的总支出对候选进行排名。提供商级别的路由会降低任何在过去 30 秒内出现过故障的提供商的优先级。你可以通过 provider 对象来约束路由，按价格、吞吐量、延迟、数据策略、ZDR 和量化进行过滤。

LiteLLM 提供更多策略和完整的自定义逻辑。它内置六种路由模式：加权选择、基于延迟、感知速率限制、最少繁忙、最低成本，以及一种用 Python 编写的自定义模式。回退列表让代理在一个模型失败时尝试下一个模型。如果你需要在代理层强制执行按团队或按模型的规则，LiteLLM 提供了相应的钩子。

延迟取决于你的调优程度。LiteLLM 报告称，在 4 实例部署（每个 4 CPU、8 GB）上针对模拟端点测试，中位开销约为 2ms（P95 为 8ms，P99 为 13ms）；降到 2 个实例后，中位开销升至约 12ms（LiteLLM 自报告的基准测试）。OpenRouter 在 Cloudflare 边缘增加了一跳网络，你无法调优或扩展它。一个是你能掌控的旋钮，另一个是你无法改变的常量。

将合规需求与合适的网关匹配

OpenRouter 提供第三方认证。它符合 SOC 2 Type 2 标准，完整报告见 trust.openrouter.ai，支持 GDPR，可按请求或账户范围提供零数据保留，并可为企业的账户通过欧盟境内的提供商进行路由。工作区还在此基础上增加了按团队的组织、预算和成本归因。

LiteLLM 提供数据主权。由于你自行托管，请求在到达提供商之前永远不会离开你的基础设施，因此你可以执行自己的控制措施。LiteLLM Enterprise 增加了 RBAC、SSO/JWT 认证、审计日志和按团队预算。它不持有独立的 SOC 2、ISO 27001 或 HIPAA 认证，因此你的部署需要自行负责满足这些标准。

两者兼用，或几行代码切换

两者并不互斥。LiteLLM 可以将 OpenRouter 作为上游提供商，这样你既能获得 LiteLLM 的本地 RBAC 和日志记录，又能让 OpenRouter 处理多提供商故障转移和模型广度。

model_list:
  - model_name: or-claude
    litellm_params:
      model: openrouter/anthropic/claude-opus-4.6
      api_key: "your-openrouter-key"
      api_base: "https://openrouter.ai/api/v1"
  - model_name: or-gpt4o
    litellm_params:
      model: openrouter/openai/gpt-4o
      api_key: "your-openrouter-key"
      api_base: "https://openrouter.ai/api/v1"

切换方向只需更改基础 URL 和密钥，因为两者都使用 OpenAI 格式。

from openai import OpenAI

# OpenRouter
client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="your-openrouter-key",
)

# LiteLLM
client = OpenAI(
    base_url="http://your-litellm-host:4000",
    api_key="your-litellm-master-key",
)

这样就能让两个网关共用一个客户端。如果你不打算统一使用 OpenAI SDK，OpenRouter 有自己的 SDK（Python 用 openrouter，TypeScript 用 @openrouter/sdk），可原生调用 OpenRouter 一侧，无需设置基础 URL。

from openrouter import OpenRouter
import os

with OpenRouter(api_key=os.environ["OPENROUTER_API_KEY"]) as client:
    response = client.chat.send(
        model="anthropic/claude-opus-4.6",
        messages=[{"role": "user", "content": "Hello"}],
    )

如果你在权衡的不止这两个，我们的 LLM 网关对比涵盖了 Portkey、Helicone、Cloudflare AI Gateway 等。

常见问题

LiteLLM 和 OpenRouter 类似吗？

它们都在众多提供商之间共享一个兼容 OpenAI 的 API，但构建方式不同。LiteLLM 是你自行托管开源的代理；OpenRouter 是运行在你并不运营的基础设施上的托管网关。这种差异体现在数据驻留、运维开销和费用上。

我可以同时使用 LiteLLM 和 OpenRouter 吗？

可以。LiteLLM 支持将 OpenRouter 作为上游提供商，因此你可以在本地通过 LiteLLM 进行路由以实现 RBAC 和审计日志，同时让 OpenRouter 处理多提供商故障转移和模型广度。

OpenRouter 免费吗？

OpenRouter 有 20 多个免费模型可供评估。付费使用按提供商定价以 0% 加价传递，另加购买额度时 5.5% 的平台费。自带密钥在计划相关的免费额度之后，对等值 OpenRouter 成本收取 5% 的费用；当前详情请见定价页面。

OpenRouter 会存储我的提示词吗？

默认不会。OpenRouter 不保留提示词或响应。可通过请求头按请求启用零数据保留，或在设置中为整个账户启用。

OpenRouter 与 LiteLLM 的延迟开销对比如何？

LiteLLM 报告称，在调优后的 4 实例部署上，针对模拟端点测试的中位开销约为 2ms；2 实例配置则升至约 12ms。OpenRouter 在 Cloudflare 上增加了一跳网络，而你无法自行调优或扩展它。

来源：OpenRouter：Announcements（RSS） · openrouter.ai

#教程/实践#部署/工程