OmniRoute

• 1. 概要 （共 283 字）

  OmniRoute 是一个开源免费的 AI 网关（AI Gateway），把 Claude Code、Codex、Cursor、Cline、Copilot 等二十多种编程工具，统一接到一个 OpenAI 兼容的本地端点上，再由它把请求智能路由到 200 多家 AI 供应商。它主打两件事：一是用「订阅额度耗尽就自动切到下一个模型」的自动回退组合（Combo），让编码过程几乎不中断；二是用自研的 RTK + Caveman 堆叠压缩，把 token 消耗压低 15% 到 95%。项目由 diegosouzapw 主导，采用 MIT 协议，目前 GitHub 上已有约 6,400 颗星、1,100 余次 fork，迭代非常活跃。

• 2. 产品背景 （共 520 字）

  OmniRoute 的作者是在 GitHub 上以 diegosouzapw 活动的开发者 Diego Rodrigues de Sa e Souza，仓库位于 github.com/diegosouzapw/OmniRoute，官网为 omniroute.online。从项目致谢与架构说明看，它最早是 9router 的一个分支（fork），同时把 Go 语言项目 CLIProxyAPI 用 TypeScript 重写了一遍，并借鉴了 LiteLLM 公开的定价数据集来做成本追踪。也就是说，它站在几个开源网关项目的肩膀上，但做成了全 TypeScript、多模态、带桌面端和 PWA 的完整产品。   技术栈上，OmniRoute 用 TypeScript / JavaScript（Node.js）编写，前端仪表盘基于 Next.js 与 React，桌面端用 Electron 封装，后端服务路由用 Hono，本地数据用 better-sqlite3 存储。部署形态覆盖 Docker、Podman、Termux，以及纯 Web 和 PWA，本地通过 npm install -g omniroute 即可安装。最近几个版本的提交非常密集，几乎每天都有修复与特性合并，版本号已推进到 v3.8.x 系列，说明团队投入很高、节奏很快。

• 3. 产品功能与使用体验 （共 671 字）

  OmniRoute 的核心是一个本地端点：http://localhost:20128/v1（API）和 http://localhost:20128（仪表盘）。用户只要把编码工具的 Base URL 指到这里、API Key 从仪表盘复制、模型填 auto，就能让 Claude Code、Codex、Cursor、Copilot、Continue、OpenCode、Kilo Code 等二十多款工具共用一套配置。它会在背后把 OpenAI、Anthropic、Responses、ChatCompletions 等不同协议互相翻译，所以一个端点能通吃 Claude、GPT、Gemini 等多种模型。   真正让它站稳的是路由层。它提供 17 到 18 种路由策略（priority、weighted、cost-optimized、round-robin、least-used、fusion 等），并有一套 Auto-Combo 引擎：当某个订阅额度用完、某个供应商挂掉、或成本突然飙升时，请求会静默滑到组合里的下一个模型，整个过程零停机。此外还有 Quota-Share（把一个订阅拆给团队共用）、多账户轮询、MCP 服务器（内置 90 多个工具）、A2A 代理协议、混合向量与关键词记忆，以及可选的 MITM/TPROXY 解密来抓那些不读代理环境变量的 CLI 流量。   压缩是另一个招牌。RTK + Caveman 是一套可插拔的异步压缩流水线，配合 LLMLingua-2、Ultra、委托式 Anthropic 上下文编辑等引擎，宣称能省下 15% 到 95% 的 token。对长上下文编码场景，这部分节省是实打实的。

• 4. 定价与商业模式 （共 445 字）

  OmniRoute 本身是开源免费的，MIT 协议，作者明确说 OmniRoute never charges you。它的价值不在于向用户收费，而在于聚合各家的免费额度。README 里给出一组数字：稳定状态下每月约 16 亿免费 token，加上注册赠送额度后首月最高可达约 21 亿。免费层里有 11 家「永久免费」供应商，例如 Kiro（每月 50 credits 的 Claude Sonnet 4.5）、Qoder（无限免费）、Pollinations（无需密钥）、Cerebras（每天 100 万 token）等。把这些免费供应商拼成一个 combo，就成了作者口中的 $0 Free Stack——每月成本为零，但编码几乎不会因限流而停。   OmniRoute 的变现路径更像社区驱动的开源项目：靠口碑和 star 增长，靠贡献者 PR 迭代；官网 omniroute.online 提供云端端点 cloud.omniroute.online/v1 作为可选便利，但请求路径默认 100% 跑在用户自己的硬件上。对注重数据主权的人来说，这一点很有吸引力。

• 5. 用户评价 （共 317 字）

  从 GitHub 讨论与社区镜像仓库的反馈看，用户最买账的是「永不中断编码」的体验：把多个订阅、API Key、免费层叠在一起，额度耗尽时自动切换，确实解决了「正写到一半被限流踢掉」的痛点。压缩带来的 token 节省也被反复提及，对长期跑 Claude Code 的用户来说，相当于变相省下每月几十美元的 API 费。   负面反馈主要集中在项目变化太快带来的认知负担：路由策略、压缩引擎、组合语法几乎每周都在加，新手要完全吃透需要时间；部分高级功能（如 MITM 解密、TLS 指纹伪装）配置门槛不低，文档虽多但分散在 docs/ 各个子目录。另外，免费供应商本身的质量和稳定性参差不齐，把关键工作流完全押在免费层上，偶尔会遇到响应慢或偶发失败，需要靠自动回退兜底。

• 6. 行业评价 （共 360 字）

  在开源 AI 网关这个小赛道里，OmniRoute 经常被拿来和 LiteLLM、OpenRouter、Portkey 对比。它的差异化很明确：供应商目录最全（README 称 250 家、90 多家带免费层，而同类路由器通常只有 20 到 100 家）、免费供应商最多、路由策略最丰富、压缩能力独一份。awesome-repositories 等聚合站把它归类为「统一 LLM API 网关」，强调它用标准化 API 屏蔽了各家协议差异，并用熔断（circuit breaker）隔离供应商故障。   不过它也常被指出是「站在巨人肩膀」的项目：根子是 9router 的分支、CLIProxyAPI 的重写，成本数据又借力 LiteLLM 的公开定价。这种「集大成」路线在开源圈很常见，优势是迭代飞快、功能堆得满，风险是工程复杂度高、维护面很广，对单个核心维护者的依赖较强。

• 7. 争议与风险 （共 223 字）

  第一是供应链与维护风险。项目重度依赖一长串免费第三方供应商，而这些供应商随时可能调整额度、限流甚至关停，OmniRoute 的 $0 体验因此并不完全由自己掌控。第二是安全边界。虽然它宣称 API Key 与 OAuth 用 AES-256-GCM 加密存储、默认零遥测、本地优先，但 MITM/TPROXY 解密、TLS 指纹伪装这类能力本身是双刃剑，用错了可能踩到合规或平台条款的红线。第三是项目节奏过快，版本和参数频繁变动，旧教程容易失效，对追求稳定的团队不算友好。

• 8. 适用人群与使用建议 （共 271 字）

  OmniRoute 最适合两类人：一是重度使用 Claude Code / Cursor 等编码助手、又不想每个月为多家 API 付几十美元的个人开发者；二是想用一套端点统一管理多个模型、并需要自动故障转移和成本遥测的小团队。它把「免费层拼装成生产级可用」这件事做得相当彻底。   不太适合的是：对稳定性有强 SLA 要求的企业生产环境；以及希望开箱即用、不愿折腾路由策略和压缩配置的用户——这类人用 OpenRouter 之类托管网关可能更省心。替代方案上，追求简单可上 OpenRouter，追求企业级可观测与治理可看 Portkey，追求轻量自托管则可看 LiteLLM。

• 9. 总结 （共 110 字）

  OmniRoute 是目前开源 AI 网关里把「供应商覆盖 + 免费额度聚合 + 自动回退 + token 压缩」这四件事做得最满的一个，对个人编码玩家几乎是零成本的「不断电」方案；代价是工程复杂度高、迭代飞快，需要你愿意花点时间把它吃透。

暂无深度报告

• 

  0bkg6e7fz9

  —

  试了下 OmniRoute 的 RTK 压缩，给 git diff 跑了两次，第一次 140k token 压到 21k，第二次 78k 压到 5.3k，省了 93%。这数字不是吹的，但普通对话场景也就省 20% 出头，别期待太高。

---

• 

  LAlvarezIII

  —

  装了一晚上，折腾半天终于把 OmniRoute 跑起来了。自动回退确实牛，Claude Code 额度用完直接切到免费提供商，完全没断过。但配置确实复杂，光路由策略就有 18 种，新手得花点时间啃文档。

---

• 

  Samuel.Lewis_9982

  —

  OmniRoute 的 Combo 路由是杀手级功能。我配了一条链：订阅额度 → API 付费 → 便宜模型 → 免费池，四层防护，写代码再也没弹过 rate limit。以前用 Cursor 到月底必卡，现在完全无缝。

---

• 

  萧晨君

  —

  白嫖党福音！原来每个月花两百多刀在 API 上，自从上了 OmniRoute，靠着免费池子硬是省了 80% 的费用。尤其那 11 个永久免费不用绑卡的提供商，真香。

---

• 

  VHernandez_2022

  —

  安全方面有点劝退。TLS 指纹伪装和 MITM 代理这种操作，读着就觉得灰色地带。GitHub 上看了一圈 issue，有人提了 Socket.dev 的扫描结果说不乐观。个人用用还行，公司环境谁敢上？

---

• 

  David_Ward_8806

  —

  太强了

---

• 

  安然_5

  —

  跟着文档装了一遍，docker pull 就跑起来了，前后也就十分钟。指向 localhost:20128/v1 之后 Cursor 和 Claude Code 都能直接用，确实省事。

---

• 

  RPowell_2020

  —

  卡成PPT了，不知道是不是我配置的问题，开压缩之后响应慢得一批。有没有大手子分享下最佳实践配置？

---

• 

  Deborah_Sanders_Max4

  —

  压缩延迟是个问题。我测了下每次请求多了 100-150ms，写代码还好，但用聊天界面的时候明显感觉响应变慢了。追求低延迟的还是关掉压缩吧。

---

• 

  JThomasX

  —

  和 LiteLLM 对比了一下，OmniRoute 的提供商数量确实碾压，但 LiteLLM 的文档和社区成熟度高了不止一个档次。如果只是做简单路由，LiteLLM 更稳。要白嫖免费模型的话选 OmniRoute。

---

• 

  MasonMoralesII

  —

  Fusion 路由策略绝了，同时发请求给三个模型然后用 judge 模型汇总最佳答案。写复杂逻辑的时候准确率高了不少，就是 token 消耗也上去了，适合不差钱的时候用。

---

• 

  ebejc1an

  —

  看到 20k stars 一夜之间冒出来就觉得不对劲。去翻了下 commit 历史，7 个 commit 加了 20 万行代码？这怎么看怎么可疑啊。虽然功能确实好用，但 repo 的水分让人不太放心。

---

• 

  SRodriguezZ

  —

  更新太频繁了，上周才装好 3.8.44，这周又到 3.8.49 了。配置格式说变就变，生产环境根本不敢随便升级。建议 pin 版本用，别追新。

---

• 

  Catherine.Reyes_Max

  —

  项目方向确实好，免费额度聚合加智能回退加 token 压缩，三个痛点全打中了。而且开源 MIT 协议，数据完全本地化，不存在隐私问题。就是迭代速度太快，稳定性有待观察。

---

• 

  Grace.BaileyIII9

  —

  MCP 支持不错，暴露了 95 个 tool，能直接当 MCP server 用。我让 Agent 自己通过 OmniRoute 管理路由和配额，真·套娃。

---

• 

  Jason_HendersonIII

  —

  免费模型的智商确实比不上付费版，Poolinations 的生成质量跟 GPT-4o 完全没法比。但写写简单脚本、跑跑测试用例够用了。一分钱一分货，不寒碜。

---

• 

  Gary_Hicks_8818

  —

  Dashboard 做得很漂亮，实时看到还剩多少免费额度、压缩率多少、各个 provider 的健康状态。对喜欢可视化的人来说体验很好。

---

• 

  DRlar

  —

  有没有人遇到内存泄漏的？跑了两天发现 RSS 涨到 2GB 了，重启才好。看 GitHub issues 好像不是个例，希望尽快修。

---

• 

  KaylaWatson

  —

  迭代太快了，跟不动。

---

• 

  Charles_Ramirez_88

  —

  免费的，真香。

---

• 

  史哲婷

  —

  试了下它的 Quota-Share 功能，一个 Codex Pro 账号分给三个人用，配了权重策略，硬限制+软限制都有。团队协作场景确实实用，不用人手一个订阅了。

---

• 

  JerryKingK

  —

  实话实说，免费提供商挂了的情况我遇到过两次，好在 OmniRoute 的断路器秒切到下一个了。但延迟确实比直连高，大概多了 50-80ms。个人开发者省钱神器，生产环境还是算了。

---

• 

  C_hristina258

  —

  用了两周，API 账单直接归零。我把 Kiro、Qoder、Pollinations 几个免费的拼成一个 combo，日常写代码改 bug 完全够用，不用绑卡不用信用卡。

---

• 

  GregorySullivanQ845

  —

  yyds，白嫖快乐。

---

• 

  Larry_Miller

  —

  回不去了，本地网关真香。

---

• 

  WolfWallet570

  —

  刚装上，把 Cursor 和 Claude Code 都指到 localhost:20128，确实一个端点全搞定，配置省心多了。

---

• 

  Larry_Long0070

  —

  踩了个坑分享下：第一次进 Dashboard 看到两百多个供应商直接选择困难。后来照攻略先连 Kiro、Qoder、Pollinations、Cloudflare AI 四个免费的，跑顺了再慢慢加。别贪多，先用起来最重要。

---

• 

  David_Roberts_2023

  —

  Node 版本坑到了，低于 18 一堆报错，先 node -v 看一眼再装。

---

• 

  戴素磊

  —

  请求路径 100% 跑自己硬件，不想被云厂商卡脖子的可以上。

---

• 

  biglion331

  —

  auto 模式偶尔翻车，选到慢供应商等得怀疑人生，写代码还是用 auto/coding 稳。

暂无评论