OmniRoute

• 1. 概要 （共 283 字）

  OmniRoute 是一個開源免費的 AI 閘道器（AI Gateway），把 Claude Code、Codex、Cursor、Cline、Copilot 等二十多種程式設計工具，統一接到一個 OpenAI 相容的本地端點上，再由它把請求智慧路由到 200 多家 AI 供應商。它主打兩件事：一是用「訂閱額度耗盡就自動切到下一個模型」的自動回退組合（Combo），讓編碼過程幾乎不中斷；二是用自研的 RTK + Caveman 堆疊壓縮，把 token 消耗壓低 15% 到 95%。專案由 diegosouzapw 主導，採用 MIT 協議，目前 GitHub 上已有約 6,400 顆星、1,100 餘次 fork，迭代非常活躍。

• 2. 產品背景 （共 520 字）

  OmniRoute 的作者是在 GitHub 上以 diegosouzapw 活動的開發者 Diego Rodrigues de Sa e Souza，倉庫位於 github.com/diegosouzapw/OmniRoute，官網為 omniroute.online。從專案致謝與架構說明看，它最早是 9router 的一個分支（fork），同時把 Go 語言專案 CLIProxyAPI 用 TypeScript 重寫了一遍，並借鑑了 LiteLLM 公開的定價資料集來做成本追蹤。也就是說，它站在幾個開源閘道器專案的肩膀上，但做成了全 TypeScript、多模態、帶桌面端和 PWA 的完整產品。   技術棧上，OmniRoute 用 TypeScript / JavaScript（Node.js）編寫，前端儀表盤基於 Next.js 與 React，桌面端用 Electron 封裝，後端服務路由用 Hono，本地資料用 better-sqlite3 儲存。部署形態覆蓋 Docker、Podman、Termux，以及純 Web 和 PWA，本地透過 npm install -g omniroute 即可安裝。最近幾個版本的提交非常密集，幾乎每天都有修復與特性合併，版本號已推進到 v3.8.x 系列，說明團隊投入很高、節奏很快。

• 3. 產品功能與使用體驗 （共 671 字）

  OmniRoute 的核心是一個本地端點：http://localhost:20128/v1（API）和 http://localhost:20128（儀表盤）。使用者只要把編碼工具的 Base URL 指到這裡、API Key 從儀表盤複製、模型填 auto，就能讓 Claude Code、Codex、Cursor、Copilot、Continue、OpenCode、Kilo Code 等二十多款工具共用一套配置。它會在背後把 OpenAI、Anthropic、Responses、ChatCompletions 等不同協議互相翻譯，所以一個端點能通吃 Claude、GPT、Gemini 等多種模型。   真正讓它站穩的是路由層。它提供 17 到 18 種路由策略（priority、weighted、cost-optimized、round-robin、least-used、fusion 等），並有一套 Auto-Combo 引擎：當某個訂閱額度用完、某個供應商掛掉、或成本突然飆升時，請求會靜默滑到組合裡的下一個模型，整個過程零停機。此外還有 Quota-Share（把一個訂閱拆給團隊共用）、多賬戶輪詢、MCP 伺服器（內建 90 多個工具）、A2A 代理協議、混合向量與關鍵詞記憶，以及可選的 MITM/TPROXY 解密來抓那些不讀代理環境變數的 CLI 流量。   壓縮是另一個招牌。RTK + Caveman 是一套可插拔的非同步壓縮流水線，配合 LLMLingua-2、Ultra、委託式 Anthropic 上下文編輯等引擎，宣稱能省下 15% 到 95% 的 token。對長上下文編碼場景，這部分節省是實打實的。

• 4. 定價與商業模式 （共 445 字）

  OmniRoute 本身是開源免費的，MIT 協議，作者明確說 OmniRoute never charges you。它的價值不在於向使用者收費，而在於聚合各家的免費額度。README 裡給出一組數字：穩定狀態下每月約 16 億免費 token，加上註冊贈送額度後首月最高可達約 21 億。免費層裡有 11 家「永久免費」供應商，例如 Kiro（每月 50 credits 的 Claude Sonnet 4.5）、Qoder（無限免費）、Pollinations（無需金鑰）、Cerebras（每天 100 萬 token）等。把這些免費供應商拼成一個 combo，就成了作者口中的 $0 Free Stack——每月成本為零，但編碼幾乎不會因限流而停。   OmniRoute 的變現路徑更像社群驅動的開源專案：靠口碑和 star 增長，靠貢獻者 PR 迭代；官網 omniroute.online 提供雲端端點 cloud.omniroute.online/v1 作為可選便利，但請求路徑預設 100% 跑在使用者自己的硬體上。對注重資料主權的人來說，這一點很有吸引力。

• 5. 使用者評價 （共 317 字）

  從 GitHub 討論與社群映象倉庫的反饋看，使用者最買賬的是「永不中斷編碼」的體驗：把多個訂閱、API Key、免費層疊在一起，額度耗盡時自動切換，確實解決了「正寫到一半被限流踢掉」的痛點。壓縮帶來的 token 節省也被反覆提及，對長期跑 Claude Code 的使用者來說，相當於變相省下每月幾十美元的 API 費。   負面反饋主要集中在專案變化太快帶來的認知負擔：路由策略、壓縮引擎、組合語法幾乎每週都在加，新手要完全吃透需要時間；部分高階功能（如 MITM 解密、TLS 指紋偽裝）配置門檻不低，文件雖多但分散在 docs/ 各個子目錄。另外，免費供應商本身的質量和穩定性參差不齊，把關鍵工作流完全押在免費層上，偶爾會遇到響應慢或偶發失敗，需要靠自動回退兜底。

• 6. 行業評價 （共 360 字）

  在開源 AI 閘道器這個小賽道里，OmniRoute 經常被拿來和 LiteLLM、OpenRouter、Portkey 對比。它的差異化很明確：供應商目錄最全（README 稱 250 家、90 多家帶免費層，而同類路由器通常只有 20 到 100 家）、免費供應商最多、路由策略最豐富、壓縮能力獨一份。awesome-repositories 等聚合站把它歸類為「統一 LLM API 閘道器」，強調它用標準化 API 遮蔽了各家協議差異，並用熔斷（circuit breaker）隔離供應商故障。   不過它也常被指出是「站在巨人肩膀」的專案：根子是 9router 的分支、CLIProxyAPI 的重寫，成本資料又借力 LiteLLM 的公開定價。這種「集大成」路線在開源圈很常見，優勢是迭代飛快、功能堆得滿，風險是工程複雜度高、維護面很廣，對單個核心維護者的依賴較強。

• 7. 爭議與風險 （共 223 字）

  第一是供應鏈與維護風險。專案重度依賴一長串免費第三方供應商，而這些供應商隨時可能調整額度、限流甚至關停，OmniRoute 的 $0 體驗因此並不完全由自己掌控。第二是安全邊界。雖然它宣稱 API Key 與 OAuth 用 AES-256-GCM 加密儲存、預設零遙測、本地優先，但 MITM/TPROXY 解密、TLS 指紋偽裝這類能力本身是雙刃劍，用錯了可能踩到合規或平臺條款的紅線。第三是專案節奏過快，版本和引數頻繁變動，舊教程容易失效，對追求穩定的團隊不算友好。

• 8. 適用人群與使用建議 （共 271 字）

  OmniRoute 最適合兩類人：一是重度使用 Claude Code / Cursor 等編碼助手、又不想每個月為多家 API 付幾十美元的個人開發者；二是想用一套端點統一管理多個模型、並需要自動故障轉移和成本遙測的小團隊。它把「免費層拼裝成生產級可用」這件事做得相當徹底。   不太適合的是：對穩定性有強 SLA 要求的企業生產環境；以及希望開箱即用、不願折騰路由策略和壓縮配置的使用者——這類人用 OpenRouter 之類託管閘道器可能更省心。替代方案上，追求簡單可上 OpenRouter，追求企業級可觀測與治理可看 Portkey，追求輕量自託管則可看 LiteLLM。

• 9. 總結 （共 110 字）

  OmniRoute 是目前開源 AI 閘道器裡把「供應商覆蓋 + 免費額度聚合 + 自動回退 + token 壓縮」這四件事做得最滿的一個，對個人編碼玩家幾乎是零成本的「不斷電」方案；代價是工程複雜度高、迭代飛快，需要你願意花點時間把它吃透。

暫無深度報告

• 

  0bkg6e7fz9

  —

  試了下 OmniRoute 的 RTK 壓縮，給 git diff 跑了兩次，第一次 140k token 壓到 21k，第二次 78k 壓到 5.3k，省了 93%。這數字不是吹的，但普通對話場景也就省 20% 出頭，別期待太高。

---

• 

  LAlvarezIII

  —

  裝了一晚上，折騰半天終於把 OmniRoute 跑起來了。自動回退確實牛，Claude Code 額度用完直接切到免費提供商，完全沒斷過。但配置確實複雜，光路由策略就有 18 種，新手得花點時間啃文件。

---

• 

  Samuel.Lewis_9982

  —

  OmniRoute 的 Combo 路由是殺手級功能。我配了一條鏈：訂閱額度 → API 付費 → 便宜模型 → 免費池，四層防護，寫程式碼再也沒彈過 rate limit。以前用 Cursor 到月底必卡，現在完全無縫。

---

• 

  蕭晨君

  —

  白嫖黨福音！原來每個月花兩百多刀在 API 上，自從上了 OmniRoute，靠著免費池子硬是省了 80% 的費用。尤其那 11 個永久免費不用綁卡的提供商，真香。

---

• 

  VHernandez_2022

  —

  安全方面有點勸退。TLS 指紋偽裝和 MITM 代理這種操作，讀著就覺得灰色地帶。GitHub 上看了一圈 issue，有人提了 Socket.dev 的掃描結果說不樂觀。個人用用還行，公司環境誰敢上？

---

• 

  David_Ward_8806

  —

  太強了

---

• 

  安然_5

  —

  跟著文件裝了一遍，docker pull 就跑起來了，前後也就十分鐘。指向 localhost:20128/v1 之後 Cursor 和 Claude Code 都能直接用，確實省事。

---

• 

  RPowell_2020

  —

  卡成PPT了，不知道是不是我配置的問題，開壓縮之後響應慢得一批。有沒有大手子分享下最佳實踐配置？

---

• 

  Deborah_Sanders_Max4

  —

  壓縮延遲是個問題。我測了下每次請求多了 100-150ms，寫程式碼還好，但用聊天介面的時候明顯感覺響應變慢了。追求低延遲的還是關掉壓縮吧。

---

• 

  JThomasX

  —

  和 LiteLLM 對比了一下，OmniRoute 的提供商數量確實碾壓，但 LiteLLM 的文件和社群成熟度高了不止一個檔次。如果只是做簡單路由，LiteLLM 更穩。要白嫖免費模型的話選 OmniRoute。

---

• 

  MasonMoralesII

  —

  Fusion 路由策略絕了，同時發請求給三個模型然後用 judge 模型彙總最佳答案。寫複雜邏輯的時候準確率高了不少，就是 token 消耗也上去了，適合不差錢的時候用。

---

• 

  ebejc1an

  —

  看到 20k stars 一夜之間冒出來就覺得不對勁。去翻了下 commit 歷史，7 個 commit 加了 20 萬行程式碼？這怎麼看怎麼可疑啊。雖然功能確實好用，但 repo 的水分讓人不太放心。

---

• 

  SRodriguezZ

  —

  更新太頻繁了，上週才裝好 3.8.44，這周又到 3.8.49 了。配置格式說變就變，生產環境根本不敢隨便升級。建議 pin 版本用，別追新。

---

• 

  Catherine.Reyes_Max

  —

  專案方向確實好，免費額度聚合加智慧回退加 token 壓縮，三個痛點全打中了。而且開源 MIT 協議，資料完全本地化，不存在隱私問題。就是迭代速度太快，穩定性有待觀察。

---

• 

  Grace.BaileyIII9

  —

  MCP 支援不錯，暴露了 95 個 tool，能直接當 MCP server 用。我讓 Agent 自己透過 OmniRoute 管理路由和配額，真·套娃。

---

• 

  Jason_HendersonIII

  —

  免費模型的智商確實比不上付費版，Poolinations 的生成質量跟 GPT-4o 完全沒法比。但寫寫簡單指令碼、跑跑測試用例夠用了。一分錢一分貨，不寒磣。

---

• 

  Gary_Hicks_8818

  —

  Dashboard 做得很漂亮，實時看到還剩多少免費額度、壓縮率多少、各個 provider 的健康狀態。對喜歡視覺化的人來說體驗很好。

---

• 

  DRlar

  —

  有沒有人遇到記憶體洩漏的？跑了兩天發現 RSS 漲到 2GB 了，重啟才好。看 GitHub issues 好像不是個例，希望儘快修。

---

• 

  KaylaWatson

  —

  迭代太快了，跟不動。

---

• 

  Charles_Ramirez_88

  —

  免費的，真香。

---

• 

  史哲婷

  —

  試了下它的 Quota-Share 功能，一個 Codex Pro 賬號分給三個人用，配了權重策略，硬限制+軟限制都有。團隊協作場景確實實用，不用人手一個訂閱了。

---

• 

  JerryKingK

  —

  實話實說，免費提供商掛了的情況我遇到過兩次，好在 OmniRoute 的斷路器秒切到下一個了。但延遲確實比直連高，大概多了 50-80ms。個人開發者省錢神器，生產環境還是算了。

---

• 

  C_hristina258

  —

  用了兩週，API 賬單直接歸零。我把 Kiro、Qoder、Pollinations 幾個免費的拼成一個 combo，日常寫程式碼改 bug 完全夠用，不用綁卡不用信用卡。

---

• 

  GregorySullivanQ845

  —

  yyds，白嫖快樂。

---

• 

  Larry_Miller

  —

  回不去了，本地閘道器真香。

---

• 

  WolfWallet570

  —

  剛裝上，把 Cursor 和 Claude Code 都指到 localhost:20128，確實一個端點全搞定，配置省心多了。

---

• 

  Larry_Long0070

  —

  踩了個坑分享下：第一次進 Dashboard 看到兩百多個供應商直接選擇困難。後來照攻略先連 Kiro、Qoder、Pollinations、Cloudflare AI 四個免費的，跑順了再慢慢加。別貪多，先用起來最重要。

---

• 

  David_Roberts_2023

  —

  Node 版本坑到了，低於 18 一堆報錯，先 node -v 看一眼再裝。

---

• 

  戴素磊

  —

  請求路徑 100% 跑自己硬體，不想被雲廠商卡脖子的可以上。

---

• 

  biglion331

  —

  auto 模式偶爾翻車，選到慢供應商等得懷疑人生，寫程式碼還是用 auto/coding 穩。

暫無評論