Auriko

把 LLM 供應商當交易場所的零加價推理路由與成本最佳化平臺,平均省約 30% 推理成本

深度報告

  • Auriko 把自己定位為「AI 推理的交易櫃檯(Trading Desk for AI Inference)」,本質是面向大模型推理的智慧路由與成本最佳化層。它用一套相容 OpenAI 的單一 API,把 OpenAI、Anthropic、Google、xAI、DeepSeek 等十餘家供應商接進來,再按成本、延遲、吞吐等目標把每一次請求路由到當下最優的供應商與模型組合。官方實測稱平均可省約 30% 推理成本,其核心賣點是不加價(zero markup)的快取感知套利與自動故障轉移。

  • Auriko 由前量化交易員 Michael Yang 創立。他在 Product Hunt 的 AMA 裡講得很直白:早年做期權交易養出的「找最低價」強迫症,在搭建 AI agent 需要跨供應商頻繁切模型時被重新點燃,最後乾脆把推理成本對比做成了系統。團隊把 LLM 供應商視作「交易場所」,把量化套利的方法論套用到推理成本最佳化上。產品上線後登上 Product Hunt 當日榜單頭部,目前頁面評分 4.7(基於 3 條評價),但真正有價值的訊號來自創始人那場長達數十條的問答——大量資深工程師就快取粘性、質量漂移、故障轉移計費等問題做了深度追問。

  • Auriko 的核心是統一 API 閘道器。使用者只需把現有 OpenAI 客戶端指向 api.auriko.ai/v1,無需改寫應用程式碼即可呼叫多家供應商的模型,並保留各供應商的特有功能(如 Anthropic 的 cache_control、OpenAI 的 prompt_cache_key)。 深度成本最佳化是它最與眾不同的地方。它不只是比對輸入/輸出 token 的「標價」,而是建模使用者工作負載與各供應商定價、提示快取機制的互動,把每個請求路由到有效成本最低的供應商。提示快取最佳化自動執行:當供應商支援時,重複的上下文片段直接從快取命中,省掉冗餘 token 成本。 路由策略支援成本優先、延遲(TTFT)優先、吞吐優先等內建預設,也允許自定義目標並加硬約束,比如最大首 token 延遲、最小每秒 token 吞吐、僅限 ZDR(零資料留存)供應商、結構化輸出、自動降級等。預測訊號儀表盤則實時給出供應商效能、健康度、快取行為與自身使用特徵的量化資料,既驅動路由決策,也讓使用者能審計「某次請求為什麼被髮往某供應商」。 此外還有自動故障轉移(每個請求都帶冗餘與回退)、全球邊緣部署、BYOK(自帶金鑰)與平臺託管金鑰混合編排、容量智慧(全球容量儲備按需擴容),以及工作空間/API 金鑰級別的預算上限與告警。生態整合覆蓋 OpenAI Agents SDK、Claude Agent SDK、Google ADK、LangChain、Vercel AI SDK、LlamaIndex、CrewAI、Claude Code、Hermes、OpenCode 等,號稱數分鐘接入。

  • Auriko 的公開口徑是「零加價」:透過 BYOK 接入時,使用者直接付給供應商的價格,Auriko 不加差價。成本最佳化完全來自路由套利,而非平臺抽成。目前平臺託管金鑰(platform keys)的具體計費口徑公開資料較少,零加價主張主要針對自帶金鑰場景。對成本敏感、呼叫頻次高的團隊,這種「只省不賺差價」的結構很有吸引力。

  • 積極一面集中在真金白銀的賬單下降。Product Hunt 上多位使用者反饋「每月 API 賬單直接降了三分之一」,並稱其「由量化團隊出品,最佳化邏輯靠譜,資料不會騙人」。把 LLM 供應商當交易場所、做價差套利的框架也被評價為「此前沒見過、但一說就通」的聰明定位。 質疑則相當專業,且來自真正的從業者。有使用者擔心路由到更便宜路徑會犧牲質量,創始人回應稱模型目錄使用真實身份標識、可指定具體模型與量化版本,路由只在「同一模型」內選最優供應商/路徑,上線前還先評估模型質量。另一個尖銳問題是快取粘性:逐請求逐利可能讓會話在不同供應商間跳動,永遠暖不起快取;創始人確認路由引擎會把快取狀態作為獨立訊號,並隨每次請求(含會話中途)重估——快取冷了,成本預期隨之改變。還有人問故障轉移的重試開銷是否計入那 30%,答覆是「便宜但易抖動的路徑其實不便宜」,重試與報錯都已納入實測,且回退鏈透明可查。

  • 行業導航站(aipure、aitoolly、aitoolnet、mossai、neurokitai 等)普遍把 Auriko 歸為「企業級 AI 推理最佳化平臺」,強調其統一 API、快取感知路由與零加價。sulat.com 的供應商檔案顯示 Auriko 當前透出約 15 個模型,涵蓋 DeepSeek V4、Kimi K2.6、Grok 4.3、Claude Opus 4.7、GLM-5.1、Qwen3.6 等,並標註了各自的上下文視窗與單價。多數評測認為其預測訊號與預算管控是實用亮點,但也指出初始配置與整合偏專業,對新手有一定門檻。

  • 最值得警惕的是「同一模型、不同供應商」的質量漂移:即便名義價格相同,不同供應商跑的同一模型可能存在量化差異、延遲畫像與細微輸出差別,路由到最便宜的節點可能讓客服類對外場景的行為變得不可預測。Auriko 用「真實模型身份 + 使用者顯式指定 + 上線前評估」來緩解,但這要求使用者自身對模型與約束有清晰定義,而非完全甩手。 其次是資料口徑與信任成本。30% 降本來自官方自家基準(2026-05-28 至 06-07 視窗,80,634 次請求、22,416 個會話),雖用匹配對、分層 Bootstrap、Wilcoxon 檢驗等做了穩健性包裝,但樣本與時段由廠商主導,橫向復現空間有限。零資料留存(ZDR)是加分項,但路由層仍會看到後設資料與快取行為,對強合規場景需自行評估。

  • 它最適合高頻、成本敏感、且已在多模型多供應商間來回切的 AI 工程團隊,尤其是跑 coding agent、客服機器人、內容生成這類重複上下文多的負載——快取感知路由在這裡收益最大。不建議把它當成「接上就能完全不管」的黑盒:對外客戶場景應顯式設定模型與質量約束,併為不同工作流分設 API 金鑰,讓校準引擎各自學習流量畫像、把降本做得更乾淨。若團隊只用單一模型、呼叫量很小,引入一層路由的複雜度可能不划算。替代方案包括直接在 LiteLLM、OpenRouter 等閘道器層做路由,或自研多供應商排程。

  • Auriko 用量化套利的思路把「推理降本」從玄學變成可度量、可審計的工程問題,零加價與快取感知路由是實打實的差異點;但它把質量與一致性的責任更多交還給使用者顯式約束,適合願意把路由策略當配置認真調的工程團隊,而非想要全自動託管的人。

使用者評論

  • 頭像
    NathanRuizIII
    質量漂移是我最擔心的點——同一模型不同供應商跑出來量化可能不一樣。Auriko 這邊模型目錄用了真實身份標識,還能指定量化版本,路由只在同模型內選路徑,算是把雷排了大半。但對外客戶場景我還是建議自己設硬約束,別完全甩手。

  • 頭像
    James_Nelson0078
    30% 是官方自己測的,先信一半再說。

  • 頭像
    brJAM
    作為一個在多家供應商之間反覆橫跳的 agent 團隊,這套「交易櫃檯」的框架真的對味。token 價格在不同供應商能差到 4 倍,Auriko 把這套價差套利用量化方法做成了自動路由。我們實測下來月度賬單降了快三成,但前提是你的請求模式夠穩定、快取能暖起來,冷啟動那幾天收益沒那麼誇張。

  • 頭像
    Kayla99r
    回不去了。

  • 頭像
    Grace_JacksonSr86
    別把它當全自動託管黑盒。我們對外場景顯式寫了 max TTFT 和結構化輸出約束,剩下的交給它跑。跑下來成本和穩定性都達標,但前提是你得把自己的質量底線用約束寫清楚,不然它真可能為了省錢選個邊緣節點。

  • 頭像
    c3p110
    延遲敏感場景慎用,成本控制得有點取捨。

  • 頭像
    WAnderson_88
    我們給不同工作流分了不同 API key,校準引擎學各自的流量畫像後,降本比一開始猛多了。建議一上來就這麼幹,別所有流量混一個 key,不然它也很難摸準你的模式,反而是你自己虧。我們分了生產、評測、實驗三套 key,效果立竿見影。

  • 頭像
    Candice249
    故障轉移的回退鏈是透明可查的,這點比某些黑盒閘道器放心。哪次請求走了哪條路徑、花了多少都看得見,重試幾次、每次落誰家都列得清清楚楚。對我們這種要對財務交代成本的團隊,這點真的重要。

  • 頭像
    MsSteveCastro_2024
    Claude Code 直接接,爽。

  • 頭像
    SHkra
    我們客服機器人一天幾百萬 token,接了之後成本肉眼可見往下走。不過對外場景我還是顯式鎖了模型,不敢全交給它自動選,畢竟客服話術穩定比省錢重要。

  • 頭像
    AMfos
    ZDR 政策加分,我們合規過審輕鬆點。

  • 頭像
    CatherineBaker_99
    快取粘性那個問題提得好,創始人說會話中途也會重估,快取冷了就切回價格優先。這個細節讓我覺得他們真懂推理,不是隻會喊降本。我們長會話實測下來,路由確實會黏在暖快取的供應商上,沒有為了省一兩分錢到處亂跳,這點比不少閘道器穩。

  • 頭像
    JulieJenkins520731
    預算管控能按 key 設上限和告警,我們財務終於不用盯著我了。生產、預發、開發三套環境分開限,超了直接報警,挺省心。

  • 頭像
    VTUCGNJ2
    量化團隊做的路由,邏輯確實比我自己拍腦袋靠譜。

  • 頭像
    Jesse.Taylor_2021233
    希望快點支援更多國產模型,現在主流夠用但不夠全。

  • 頭像
    Terry_Hicks_99
    賬單直接砍掉三分之一,太香了。

  • 頭像
    WObau
    老實說初始配置門檻不低,路由策略、約束條件、ZDR 這些概念得先搞明白。我們花了大半天搭環境和分 key,之後才看到效果。如果你就調一兩個模型、量又小,我覺得直接找家便宜供應商定點用更划算,沒必要上這層路由。量大的團隊才值回票價。

  • 頭像
    墨染_4
    最打動我的是它把 prompt caching 也算進成本了,不是隻看標價。我們長會話多,快取命中上來了之後單價直接下來一截。但配置確實偏專業,新人得花半天看文件才敢上生產,這點是真門檻。

  • 頭像
    EStewart36934
    創始人 AMA 裡把快取狀態當獨立訊號、每次請求重算預期成本,這個設計比「逐請求貪心」穩多了,長會話不會被抖來抖去。他連會話中途快取冷了都會重新算賬,說明路由是真拿全會話成本建模,不是隻看當下那一下,挺紮實。

  • 頭像
    Victoria_CooperX80
    零加價,這點是真良心。

  • 頭像
    Dylan.Foster08
    接進去就改了個 base_url,程式碼一行沒動,確實方便。

  • 頭像
    AnmolRamesh
    跟 LangChain 接幾分鐘就通了,省事。