Groq

開發專為LLM推理設計的LPU晶片

AI應用開發框架

https://groq.com/

前往官網

深度報告

Groq 是一家成立於2016年的美國AI推理公司，專注於開發專為LLM推理設計的LPU（Language Processing Unit，語言處理單元）晶片。其推理速度可達傳統GPU的10倍以上，同時功耗降低90%，被業界視為英偉達在AI推理領域的主要挑戰者。2025年9月，Groq完成7.5億美元融資，估值達69億美元，全球開發者數量已突破300萬。
Groq由前谷歌TPU架構師Jonathan Ross於2016年創立，總部位於矽谷。Jonathan Ross曾是谷歌TPU專案的核心設計者，離職後創立了Groq，目標是解決傳統GPU在AI推理場景下的效率瓶頸問題。 Groq的核心競爭力在於其自主研發的LPU晶片。與傳統GPU試圖兼顧訓練和推理不同，LPU從設計之初就專注於推理任務，採用獨特的確定性架構和靜態排程策略。這種“復古”思路在英偉達憑藉HBM視訊記憶體和CUDA生態統治AI市場的當下，反而成為了差異化優勢。融資方面，Groq在2024年8月完成6.4億美元D輪融資，2025年9月又完成7.5億美元融資，估值達69億美元。值得注意的是，2025年12月有訊息傳出英偉達正考慮以200億美元收購Groq，儘管最終未達成，但反映出業界對其技術的高度認可。
Groq的核心產品包括LPU推理晶片和GroqCloud雲服務平臺。 LPU晶片的技術特點主要體現在以下幾個方面。首先是超低延遲，LPU採用14nm晶片工藝，下一代將採用三星4nm工藝，可實現每秒500+ tokens的生成速度。其次是高能效，與英偉達H100 GPU相比，LPU在相同任務下的功耗降低約90%。第三是確定性架構，與GPU的動態排程不同，LPU採用靜態排程策略，每個計算步驟在編譯時就已確定，這消除了執行時排程開銷，提升了推理的可預測性。 GroqCloud是託管在AWS、CoreWeave等雲平臺上的推理服務，提供OpenAI相容的API介面。開發者只需修改兩行程式碼，即可將現有基於OpenAI的應用遷移到Groq。Groq還提供免費的API Playground，方便開發者試用和除錯。在基準測試方面，Groq在LLMPerf公開基準測試中創下了紀錄，首批公開結果顯示其推理速度比主流雲服務快最多18倍。在Meta Llama 2-70B推理任務中，Groq LPU的吞吐量達到英偉達H100的4倍，而延遲僅為後者的四分之一。
Groq採用按token計費的商業模式，提供免費層和付費層。免費層限制為每分鐘30次請求、6000 tokens，適合個人開發者測試和學習。付費層價格從每百萬tokens 0.05美元起，根據不同模型和請求型別有所差異。相比之下，Groq的定價通常比OpenAI和Anthropic低數倍。 Groq還提供Batch API，為批次處理任務提供25%的折扣，這對於需要處理大量資料的場景非常有吸引力。從成本角度來看，有使用者反饋稱遷移到Groq後，聊天速度提升7.41倍，同時成本降低89%。這對於對延遲敏感且成本敏感的AI應用具有顯著吸引力。
正面評價方面，開發者普遍對Groq的超低延遲印象深刻。多位使用者表示切換到Groq後應用的響應速度大幅提升，而成本明顯下降。教育領域的使用者反饋Groq幫助他們以可負擔的價格為學生提供AI服務。技術社群對LPU的架構創新給予高度評價，認為這是硬體軟體協同設計的典範。負面反饋主要集中在幾個方面。首先是生態系統的成熟度，Groq的開發者社群和工具鏈相比英偉達CUDA生態還有差距。其次是模型支援，雖然主流開源模型都有支援，但某些特定模型的最佳化不如GPU版本。第三是產能問題，有使用者反映在高峰期有時需要排隊等待。使用場景方面，Groq特別適合實時對話應用、需要快速響應的聊天機器人、延遲敏感的互動式AI應用，以及大規模AI API服務提供商。
媒體和分析機構對Groq普遍持積極態度。《華爾街日報》將Groq稱為“英偉達挑戰者”，《36氪》等中文科技媒體也對其技術進行了深度解析。SemiAnalysis等專業半導體分析機構認為，LPU代表了推理專用硬體的正確方向。從競爭格局來看，Groq的主要競爭對手是英偉達的GPU產品。但與英偉達的通用計算策略不同，Groq選擇了一條專注於推理的垂直整合路線。這種差異化策略使其在特定場景下具有顯著優勢，但也面臨著生態壁壘的挑戰。行業觀察認為，AI推理市場正在快速增長，推理需求可能很快超過訓練需求。作為推理專用硬體的領先者，Groq有望在這一趨勢中受益。
技術風險方面，LPU的架構創新雖然高效，但軟體棧和工具鏈的成熟度需要時間趕上GPU生態。此外，專用硬體存在被通用晶片透過軟體最佳化追平效能的風險。商業風險方面，英偉達在2025年底考慮收購Groq的傳聞雖然未成真，但表明行業巨頭可能會透過競爭或併購來應對挑戰。長遠來看，Groq需要證明其技術優勢能夠持續轉化為市場份額。市場風險方面，AI推理市場仍處於早期階段，需求增長存在不確定性。同時，大型雲服務商和晶片廠商都在加大對推理最佳化的投入，競爭將日趨激烈。
Groq特別適合以下使用者群體：需要超低延遲的實時對話應用開發者、對成本敏感的AI服務提供商、需要大規模推理能力的初創企業，以及探索差異化硬體的技術愛好者。對於以下場景，Groq可能不是最佳選擇：需要使用特定商業模型且該模型在Groq上不可用的情況、對GPU生態工具鏈有強依賴的專案，以及對供應商穩定性有極高要求的企業級應用。替代方案包括英偉達GPU（生態成熟、模型支援廣）、Google TPU（大規模部署經驗）、以及AWS Inferentia等雲廠商自研晶片。
Groq代表了AI推理硬體的一個新方向——透過專用晶片實現極致效能和成本效益。在實時AI應用需求爆發的背景下，LPU技術展現出了顯著的差異化優勢。然而，從技術領先到商業成功，Groq還需要在生態系統建設、市場拓展方面持續努力。2025年的7.5億美元融資為其提供了充足的發展資金，300萬開發者的規模也證明了市場對其潛力的認可。作為英偉達在AI推理領域的主要挑戰者，Groq的發展值得持續關注。

使用者評論

plxndapgq

—

實測 Groq LPU 推理速度確實離譜，流水線架構有點東西。之前用 H100 跑 70B 模型要等好幾秒，現在基本秒回。成本也降了很多，企業部署可以考慮。

John_Ward8

—

剛看到新聞 Groq 完成 7.5 億美元融資，AI 推理市場要變天了。

TaylorHill

—

和 OpenAI API 相容真的太方便了，兩行程式碼就遷移過來，香！

LHillX

—

剛上手 Groq Cloud，整體感覺還不錯。API 相容 OpenAI，遷移成本很低。不過模型種類比預想的少一些，期待後續支援更多模型。

兔兔376

—

7.5 億美元融資到位，估值 69 億，這波穩了。希望能儘快推出更多模型支援。

Q6B7ON9

—

深度拆解 Groq LPU 架構，確實是「地表最確定 AI 晶片」，執行時間編譯器就算得明明白白，沒有任何驚喜但也沒有驚嚇，穩如老狗。

汪潔

—

Groq 的確定性架構雖然少了點靈活性，但對於推理任務來說，穩定可預測才是最重要的。

蔣偉勇

—

LPU 這波確實牛，推理速度比 H100 快 10 倍，成本只有十分之一，這誰頂得住。

Matthew_GonzalesSr

—

2024 年 AI 推理市場的拐點來了，Groq LPU 實測資料太頂了。

Timothy.Parker

—

用 Groq 跑了個月度報告總結任務，響應速度比之前用的方案快太多了，關鍵是成本也降了差不多一半。

MaddoxAdams

—

免費層限制有點少，每分鐘 30 次請求不太夠用。付費價格倒是挺香的。

Sharon_TaylorZ

—

英偉達想收購 Groq？200 億刀也不是不可能，畢竟技術擺在那裡。

GNguyen_2023313

—

期待下一代 4nm 工藝的 LPU，效能應該還能再上一個臺階。

DPhillips_66

—

生態還是太年輕，跟 CUDA 沒法比。希望能儘快豐富起來。

BSmith_2022

—

實測 Llama 2 70B 推理，Groq 延遲確實低，適合對響應速度敏感的場景。

ACastillo_2020

—

看了深度解析 Groq 架構的文章，確實有點東西。靜態排程雖然看起來複古，但效果拔群。

蕭蘭然

—

英偉達挑戰者來了？Groq 這波 LPU 確實打到了英偉達的痛點。

DWatsonJr

—

Groq LPU 主要是為大模型推理場景而設計的，尤其在大量使用者併發訪問的場景下表現更好，推理速度快意味著成本更低。

RGreen_2023

—

天下武功，唯快不破。Groq 這波直接重新整理了對 AI 推理晶片的認知。

JAbel

—

地表最強推理晶片？實測見真章。

Groq

深度報告

使用者評論

相關連結

同類產品