OmniRoute

开源免费的 AI 网关，用一个本地端点把 200 多家 AI 供应商接到 Claude Code、Cursor 等编码工具，自动回退、压缩省 token

AIアプリケーション開発フレームワーク AIゲートウェイ

https://omniroute.online/

公式サイトへ

詳細レポート

OmniRoute は、オープンソースの無料 AI ゲートウェイで、Claude Code、Codex、Cursor、Cline、Copilot などの 20 以上のプログラミングツールを OpenAI 互換のローカルエンドポイントに接続し、リクエストを 200 以上の AI サプライヤーにインテリジェントにルーティングします。これは 2 つのことに重点を置いています。1 つは、「サブスクリプションクォータが使い果たされたときに自動的に次のモデルに切り替える」自動フォールバックの組み合わせ (Combo) を使用することで、エンコードプロセスがほとんど中断されないようにすることです。もう 1 つは、自社開発の RTK + Caveman スタック圧縮を使用して、トークンの消費を 15% ～ 95% 削減することです。このプロジェクトは diegosouzapw によって主導され、MIT プロトコルを採用しています。現在、GitHub には約 6,400 個のスターと 1,100 個を超えるフォークがあり、イテレーションは非常に活発です。
OmniRoute の作成者は、GitHub で diegosouzapw として活動している開発者、Diego Rodrigues de Sa e Souza です。ウェアハウスは github.com/diegosouzapw/OmniRoute にあり、公式 Web サイトはomniroute.online です。プロジェクトの謝辞とアーキテクチャの説明から判断すると、これはもともと 9router のフォークでした。同時に、Go 言語プロジェクト CLIProxyAPI が TypeScript で書き直され、コスト追跡のために LiteLLM の公開価格データセットを利用しました。言い換えれば、これはいくつかのオープンソースゲートウェイプロジェクトを担っていますが、デスクトップと PWA を備えた、完全に TypeScript でマルチモーダルな完全な製品を作成しています。テクノロジースタックでは、OmniRoute は TypeScript/JavaScript (Node.js) で記述され、フロントエンドダッシュボードは Next.js と React に基づいており、デスクトップは Electron でカプセル化され、バックエンドサービスルーティングは Hono を使用し、ローカルデータは better-sqlite3 で保存されます。導入形式は、Docker、Podman、Termux に加え、純粋な Web および PWA もカバーします。 npm install -gomniroute を使用してローカルにインストールできます。最近のバージョンでは、修正や機能がほぼ毎日マージされ、非常に集中的に提出されています。バージョン番号は v3.8.x シリーズに進み、チームが高レベルの投資と速いペースで取り組んでいることを示しています。
OmniRoute の核心はローカルエンドポイントです: http://localhost:20128/v1 (API) および http://localhost:20128 (ダッシュボード)。ユーザーは、ここでコーディングツールのベース URL を指定し、ダッシュボードから API キーをコピーし、モデルに auto を入力するだけで済みます。Claude Code、Codex、Cursor、Copilot、Continue、OpenCode、Kilo Code などの 20 以上のツールが一連の構成を共有できます。 OpenAI、Anthropic、Responses、ChatCompletions などのさまざまなプロトコルを舞台裏で相互に変換するため、1 つのエンドポイントで Claude、GPT、Gemini などの複数のモデルを取り込むことができます。それを本当に支えているのはルーティング層です。 17 ～ 18 のルーティング戦略 (優先順位、重み付け、コスト最適化、ラウンドロビン、最小使用、フュージョンなど) を提供し、自動コンボエンジンを備えています。特定のサブスクリプションクォータが枯渇した場合、サプライヤーが故障した場合、またはコストが突然高騰した場合、リクエストは、プロセス全体でダウンタイムなしで、組み合わせ内の次のモデルに静かにスライドします。また、クォータ共有 (サブスクリプションを分割してチーム間で共有)、マルチアカウントポーリング、MCP サーバー (90 以上のツールが組み込まれている)、A2A プロキシプロトコル、ハイブリッドベクトルおよびキーワードメモリ、およびプロキシ環境変数を読み取らない CLI トラフィックをキャッチするためのオプションの MITM/TPROXY 復号化もあります。圧縮ももう 1 つの魅力です。 RTK + Caveman は、LLMLingua-2、Ultra、委任された Anthropic コンテキスト編集などのエンジンと連携するプラグイン可能な非同期圧縮パイプラインで、トークンの 15% ～ 95% を節約すると主張しています。長時間のコンテキストエンコーディングのシナリオでは、これらの節約は現実的です。
OmniRoute 自体はオープンソースであり、MIT ライセンスに基づいて無料です。著者は、OmniRoute が料金を請求することはないと明確に述べています。その価値はユーザーに課金することにあるのではなく、各企業の無料割り当てを集約することにあります。 README には一連の数字が記載されています。安定した状態では毎月約 16 億の無料トークンがあり、登録後の最初の月の最大数は約 21 億です。無料枠には、Kiro (月あたり 50 クレジットの Claude Sonnet 4.5)、Qoder (無制限の無料)、Pollinations (キー不要)、Cerebras (1 日あたり 100 万トークン) など、11 の「永久無料」プロバイダーがあります。これらの無料プロバイダーをコンボに組み合わせると、著者が $0 無料スタックと呼ぶものが作成されます。月額コストはゼロですが、コーディングが停止することはほとんどありません。スロットリング。 OmniRoute の収益化の道は、むしろコミュニティ主導のオープンソースプロジェクトに似ています。口コミとスターの成長、そして貢献者の PR の繰り返しに依存しています。公式 Web サイトのomniroute.online では、便利なオプションとしてクラウドエンドポイント cloud.omniroute.online/v1 が提供されていますが、デフォルトでは、リクエストパスはユーザー自身のハードウェアで 100% 実行されます。これは、データ主権を重視する人々にとって魅力的です。
GitHub ディスカッションやコミュニティミラーリポジトリからのフィードバックから判断すると、ユーザーが最も気に入っているのは「終わりのないコーディング」エクスペリエンスです。つまり、複数のサブスクリプション、API キー、無料サブスクリプションをスタックし、クォータがなくなると自動的に切り替わります。これにより、「現在の制限により作成途中で追い出される」という問題点が実際に解決されます。圧縮によってもたらされるトークンの節約についても、繰り返し言及されてきました。 Claude Code を長期間実行しているユーザーにとって、これは毎月の API 料金を偽装して数十ドルを節約することに相当します。否定的なフィードバックは主に、プロジェクトの急速な変更によって引き起こされる認知的負担に焦点を当てています。ルーティング戦略、圧縮エンジン、および組み合わせ構文はほぼ毎週追加され、初心者がそれを完全に理解するのに時間がかかります。一部の高度な機能 (MITM 復号化、TLS フィンガープリントマスカレードなど) の構成しきい値は低くなく、多くのドキュメントがありますが、それらは docs/ のさまざまなサブディレクトリに分散しています。さらに、無料プロバイダー自体の品質と安定性にはばらつきがあり、主要なワークフローは完全に無料枠に配置されています。場合によっては、応答が遅くなったり、障害が発生したりする場合があり、この状況をカバーするには自動ロールバックが必要になります。
オープンソース AI ゲートウェイの小規模なトラックでは、OmniRoute は、LiteLLM、OpenRouter、および Portkey とよく比較されます。その差別化は明確です。最も完全なサプライヤーディレクトリ (README によると、無料利用枠のある企業は 250 社と 90 社以上ありますが、同様のルーターには通常 20 ～ 100 社しかありません)、最も無料のサプライヤー、最も豊富なルーティング戦略、および独自の圧縮機能が挙げられます。 weawe-repositories などの集約サイトは、これを「統合 LLM API ゲートウェイ」として分類し、標準化された API を使用してさまざまなプロトコル間の違いを保護し、サーキットブレーカーを使用してサプライヤーの障害を分離することを強調しています。ただし、これは「巨人の肩の上に立つ」プロジェクトであることもよく指摘されています。そのルーツは 9router のフォーク、CLIProxyAPI の書き換えであり、コストデータは LiteLLM の公開価格設定を活用しています。この「統合」ルートは、オープンソース界では非常に一般的です。利点は、高速な反復と完全な関数スタックです。リスクとしては、プロジェクトの複雑さ、保守範囲の広さ、および単一のコア保守担当者への強い依存度が挙げられます。
1つ目はサプライチェーンとメンテナンスのリスクです。このプロジェクトは、無料のサードパーティプロバイダーの長いリストに大きく依存しており、これらのプロバイダーはいつでもクォータを調整したり、トラフィックを制限したり、さらにはシャットダウンする可能性があります。したがって、OmniRoute の $0 エクスペリエンスは完全に制御できるわけではありません。 2 つ目はセキュリティ境界です。 API キーと OAuth は AES-256-GCM で暗号化されて保存され、デフォルトでテレメトリはゼロ、ローカル優先であると主張していますが、MITM/TPROXY 復号化や TLS 指紋偽装などの機能自体が諸刃の剣です。誤って使用すると、コンプライアンスまたはプラットフォーム規約の越えてはならない一線を踏んでしまう可能性があります。 3 つ目は、プロジェクトのペースが速すぎ、バージョンやパラメータが頻繁に変更され、古いチュートリアルが無効になりやすいため、安定性を追求するチームにとっては好ましくありません。
OmniRoute は 2 つのタイプの人々に最適です。1 つは、Claude Code / Cursor などのコーディングアシスタントを頻繁に使用し、複数の API に毎月数十ドルを支払いたくない個人の開発者です。もう 1 つは、一連のエンドポイントを使用して複数のモデルを統一的に管理し、自動フェールオーバーとコストテレメトリを必要とする小規模チームです。無料利用枠を実稼働グレードのバージョンに組み立てるという非常に綿密な作業が行われます。以下には適しません: 安定性に対する強力な SLA 要件があるエンタープライズ運用環境。すぐに使用したいが、ルーティング戦略や圧縮構成をいじりたくないユーザー - このような人々は、OpenRouter などのマネージドゲートウェイを使用すると、より安心できる可能性があります。代わりに、シンプルさを求める場合は OpenRouter を、エンタープライズレベルの可観測性とガバナンスを求める場合は Portkey を、軽量のセルフホスティングを求める場合は LiteLLM を検討してください。
OmniRoute は現在、「サプライヤーカバレッジ + 無料のクォータ集約 + 自動ロールバック + トークン圧縮」の 4 つの機能を最大限に活用するオープンソースの AI ゲートウェイです。これは、個々のコーディングプレーヤー向けのほぼゼロコストの「無停電電源装置」ソリューションです。その代償として、エンジニアリングの複雑さと迅速な反復が必要となるため、完全に理解するにはある程度の時間を費やす必要があります。

ユーザーレビュー

0bkg6e7fz9

—

试了下 OmniRoute 的 RTK 压缩，给 git diff 跑了两次，第一次 140k token 压到 21k，第二次 78k 压到 5.3k，省了 93%。这数字不是吹的，但普通对话场景也就省 20% 出头，别期待太高。

LAlvarezIII

—

装了一晚上，折腾半天终于把 OmniRoute 跑起来了。自动回退确实牛，Claude Code 额度用完直接切到免费提供商，完全没断过。但配置确实复杂，光路由策略就有 18 种，新手得花点时间啃文档。

Samuel.Lewis_9982

—

OmniRoute 的 Combo 路由是杀手级功能。我配了一条链：订阅额度 → API 付费 → 便宜模型 → 免费池，四层防护，写代码再也没弹过 rate limit。以前用 Cursor 到月底必卡，现在完全无缝。

萧晨君

—

白嫖党福音！原来每个月花两百多刀在 API 上，自从上了 OmniRoute，靠着免费池子硬是省了 80% 的费用。尤其那 11 个永久免费不用绑卡的提供商，真香。

VHernandez_2022

—

安全方面有点劝退。TLS 指纹伪装和 MITM 代理这种操作，读着就觉得灰色地带。GitHub 上看了一圈 issue，有人提了 Socket.dev 的扫描结果说不乐观。个人用用还行，公司环境谁敢上？

David_Ward_8806

—

太强了

安然_5

—

跟着文档装了一遍，docker pull 就跑起来了，前后也就十分钟。指向 localhost:20128/v1 之后 Cursor 和 Claude Code 都能直接用，确实省事。

RPowell_2020

—

卡成PPT了，不知道是不是我配置的问题，开压缩之后响应慢得一批。有没有大手子分享下最佳实践配置？

Deborah_Sanders_Max4

—

压缩延迟是个问题。我测了下每次请求多了 100-150ms，写代码还好，但用聊天界面的时候明显感觉响应变慢了。追求低延迟的还是关掉压缩吧。

JThomasX

—

和 LiteLLM 对比了一下，OmniRoute 的提供商数量确实碾压，但 LiteLLM 的文档和社区成熟度高了不止一个档次。如果只是做简单路由，LiteLLM 更稳。要白嫖免费模型的话选 OmniRoute。

MasonMoralesII

—

Fusion 路由策略绝了，同时发请求给三个模型然后用 judge 模型汇总最佳答案。写复杂逻辑的时候准确率高了不少，就是 token 消耗也上去了，适合不差钱的时候用。

ebejc1an

—

看到 20k stars 一夜之间冒出来就觉得不对劲。去翻了下 commit 历史，7 个 commit 加了 20 万行代码？这怎么看怎么可疑啊。虽然功能确实好用，但 repo 的水分让人不太放心。

SRodriguezZ

—

更新太频繁了，上周才装好 3.8.44，这周又到 3.8.49 了。配置格式说变就变，生产环境根本不敢随便升级。建议 pin 版本用，别追新。

Catherine.Reyes_Max

—

项目方向确实好，免费额度聚合加智能回退加 token 压缩，三个痛点全打中了。而且开源 MIT 协议，数据完全本地化，不存在隐私问题。就是迭代速度太快，稳定性有待观察。

Grace.BaileyIII9

—

MCP 支持不错，暴露了 95 个 tool，能直接当 MCP server 用。我让 Agent 自己通过 OmniRoute 管理路由和配额，真·套娃。

Jason_HendersonIII

—

免费模型的智商确实比不上付费版，Poolinations 的生成质量跟 GPT-4o 完全没法比。但写写简单脚本、跑跑测试用例够用了。一分钱一分货，不寒碜。

Gary_Hicks_8818

—

Dashboard 做得很漂亮，实时看到还剩多少免费额度、压缩率多少、各个 provider 的健康状态。对喜欢可视化的人来说体验很好。

DRlar

—

有没有人遇到内存泄漏的？跑了两天发现 RSS 涨到 2GB 了，重启才好。看 GitHub issues 好像不是个例，希望尽快修。

KaylaWatson

—

迭代太快了，跟不动。

Charles_Ramirez_88

—

免费的，真香。

史哲婷

—

试了下它的 Quota-Share 功能，一个 Codex Pro 账号分给三个人用，配了权重策略，硬限制+软限制都有。团队协作场景确实实用，不用人手一个订阅了。

JerryKingK

—

实话实说，免费提供商挂了的情况我遇到过两次，好在 OmniRoute 的断路器秒切到下一个了。但延迟确实比直连高，大概多了 50-80ms。个人开发者省钱神器，生产环境还是算了。

C_hristina258

—

用了两周，API 账单直接归零。我把 Kiro、Qoder、Pollinations 几个免费的拼成一个 combo，日常写代码改 bug 完全够用，不用绑卡不用信用卡。

GregorySullivanQ845

—

yyds，白嫖快乐。

Larry_Miller

—

回不去了，本地网关真香。

WolfWallet570

—

刚装上，把 Cursor 和 Claude Code 都指到 localhost:20128，确实一个端点全搞定，配置省心多了。

Larry_Long0070

—

踩了个坑分享下：第一次进 Dashboard 看到两百多个供应商直接选择困难。后来照攻略先连 Kiro、Qoder、Pollinations、Cloudflare AI 四个免费的，跑顺了再慢慢加。别贪多，先用起来最重要。

David_Roberts_2023

—

Node 版本坑到了，低于 18 一堆报错，先 node -v 看一眼再装。

戴素磊

—

请求路径 100% 跑自己硬件，不想被云厂商卡脖子的可以上。

biglion331

—

auto 模式偶尔翻车，选到慢供应商等得怀疑人生，写代码还是用 auto/coding 稳。

OmniRoute

詳細レポート

ユーザーレビュー

類似の製品