Ollama

• 1. 概要 （共 369 字）

  Ollama 是當前全球最受歡迎的本地大語言模型執行工具，GitHub 星標超過 16.9 萬，位列全球第 35 名。它被業界稱為「LLM 界的 Docker」，透過一行命令即可在本地下載和執行 100 多種開源 AI 模型。截至 2026 年第一季度，月下載量已達 5,200 萬次，較初創期增長 520 倍。Ollama 由 Jeffrey Morgan 和 Michael Chiang 於 2023 年聯合創立，總部位於美國帕洛阿爾託，獲 Y Combinator 孵化支援。產品核心優勢在於完全免費開源（MIT 協議）、資料隱私安全、以及與 OpenAI 相容的 API 設計。然而，它在高併發效能、安全預設配置以及社群關係方面存在顯著短板——2026 年初全球暴露的 17.5 萬臺未認證 Ollama 伺服器事件，以及 Hacker News 上「停止使用 Ollama」的熱議，都揭示了這款工具面臨的深層挑戰。

• 2. 產品背景 （共 550 字）

  Ollama 的故事始於 2023 年 6 月，當時其 GitHub 倉庫正式建立。公司總部設在美國加州帕洛阿爾託，創始團隊包括 CEO Jeffrey Morgan 和聯合創始人 Michael Chiang。兩人此前曾構建被 Docker 收購的 Kitematic（Docker GUI 工具），這為 Ollama 後續的產品策略埋下了伏筆。專案經過 Y Combinator W21 孵化器加速，於 2021 年 3 月獲得 12.5 萬美元 pre-seed 輪融資，後續又獲得 ACOF 機構投資，具體金額未公開。截至 2026 年 1 月，公司員工規模約 46 人。   Ollama 誕生的背景是開源大模型的爆發式發展。Meta 的 Llama 系列、阿里通義千問 Qwen、DeepSeek、谷歌 Gemma 等模型相繼開源，但普通開發者要在本地執行這些模型，需要經歷獲取權重、量化處理、環境配置、引數調優等複雜流程。Ollama 將這一切簡化為 `ollama run llama3` 一條命令，極大降低了本地 AI 的使用門檻。   技術架構方面，Ollama 使用 Go 語言編寫，底層推理引擎依賴 Georgi Gerganov 建立的 llama.cpp C++ 庫（透過 CGo 呼叫），模型格式採用 GGUF 標準，支援從 3B 到 70B+ 引數規模的各類模型。當前最新版本為 v0.21.0，於 2026 年 4 月 17 日釋出。

• 3. 產品功能與使用體驗 （共 1158 字）

  Ollama 的核心功能圍繞「簡化本地模型執行」這一目標展開。最基礎的能力是一鍵模型下載與執行：使用者只需執行 `ollama run` 加模型名，系統會自動下載、載入並啟動互動式對話。除了互動模式，也支援非互動模式下的單次輸出，適合指令碼整合場景。當記憶體充足時，還可在不同終端同時執行多個模型並行推理。   API 能力是 Ollama 的重要賣點。它提供 OpenAI 相容的 REST API 端點，包括 `/v1/chat/completions`、`/api/chat`、`/api/generate`、`/api/embeddings` 等。這意味著現有使用 OpenAI SDK 的應用只需更改 base_url 即可無縫切換到本地模型，無需修改業務邏輯程式碼。官方提供了 Python（`pip install ollama`）和 JavaScript（`npm install ollama`）SDK，支援流式輸出。   Modelfile 是 Ollama 的特色功能之一。類似 Docker 的 Dockerfile，使用者可以透過 Modelfile 自定義系統提示詞、溫度引數、上下文長度等配置，建立專屬模型變體。例如設定 `PARAMETER temperature 0.8` 和 `SYSTEM "You are a Python expert"` 來打造專門的程式設計助手。   2025-2026 年間，Ollama 新增了多項重要功能。工具呼叫（Tool Calling）能力允許模型與外部工具互動，是構建 AI Agent 的基礎；Web Search API 讓本地模型也能獲取實時網路資訊；v0.19 版本重新構建了 Apple Silicon 推理架構，基於 MLX 框架實現顯著的效能提升，同時新增 NVFP4 量化和更智慧的 KV 快取複用機制；Windows ARM64 原生支援則適配了高通 Snapdragon X Elite 等 ARM 膝上型電腦。   跨平臺覆蓋方面，Ollama 支援 macOS 11+、Linux 主流發行版、Windows x64/ARM64 以及 Docker 部署。硬體層面支援 NVIDIA GPU（CUDA 5.0+）、AMD GPU（ROCm 預覽）、Apple Silicon（Metal/MLX）以及 Intel Arc（實驗性）。當模型過大無法完全載入 GPU 記憶體時，系統會自動將部分層放在 CPU 上執行。   模型庫是 Ollama 生態的核心資產。官方庫收錄超過 100 個最佳化過的開源模型，涵蓋 Meta Llama 3.2/3.3（1B-90B）、DeepSeek-R1（7B-67B）、Qwen 2.5/3（最高 72B）、Google Gemma 2/4（2B-27B）、微軟 Phi 4（3B-14B）、Mistral/Mixtral（7B-8x22B），以及 Moonshot AI 的 Kimi-K2.5、智譜 GLM-5、MiniMax 等中國模型系列。

• 4. 定價與商業模式 （共 347 字）

  Ollama 的本地功能完全免費，採用 MIT 開源協議，無任何隱藏費用或訂閱門檻。這是其吸引大量開發者和企業的關鍵因素。   2025 年 8 月，Ollama 推出了雲端推理服務 Turbo，標誌著商業化探索的開始。Turbo 提供三層套餐：免費版可訪問基礎雲端模型；Pro 版每月 20 美元，支援 3 個雲端模型並行和 50 倍雲端用量；Max 版每月 100 美元，支援 10 個並行模型和比 Pro 多 5 倍的用量。雲端服務主要基於 GPT-OSS 系列模型（Apache 2.0 許可），最高速度可達 300+ tokens/秒，部分模型可達 1,200 tokens/秒。官方宣告不保留使用者資料，伺服器位於美國、歐洲和新加坡。   這套「本地免費 + 雲端付費」的混合模式，被部分社群成員視為對開源初心的偏離，也成為 Hacker News 上爭議的核心話題之一。

• 5. 使用者評價 （共 720 字）

  正面評價主要集中在易用性和隱私保護兩個維度。Product Hunt 上 Ollama v0.19 獲得 425 票和滿分 5.0 分評價，排名當日第 2 名。ToolPilot 編輯評分 4.7/5，使用者普遍認可其安裝便捷性（幾分鐘即可啟動執行）和資料安全特性（資料永不離開裝置）。一位 Product Hunt 使用者表示用它來建立 OLLama LLM Throughput Benchmark Tool，體現了其在開發者工具鏈中的實用價值。   中文社群的評價同樣積極。知乎、CSDN、少數派等平臺上有大量部署教程和實戰分享，使用者反饋集中在「月省幾百訂閱費」「從刀耕火種步入現代社會」「斷網可用適合內網環境」等實際收益上。企業使用者案例包括醫療機構的臨床文件輔助（Llama 70B，日處理 1000+ 份筆記且 PHI 不外傳）、法律事務所的文件審查（零資料傳輸風險）、製造業邊緣質量控制（Jetson 部署，完全離線），以及軟體開發團隊的本地 LLM 功能開發（月節省 4000 美元 API 成本）。   負面反饋同樣不容忽視。Hacker News 上有熱議帖「Stop Using Ollama」，批評者認為 Ollama 本質只是 llama.cpp 的包裝器，卻長期規避對上游專案的歸屬標註。效能方面，本地推理速度慢於雲端服務，基礎輸出需等待 10-30 秒。高併發場景下表現尤為糟糕：採用 FIFO 佇列處理請求，50 併發時 p95 延遲達 18.4 秒，128 併發時直接崩潰，GitHub Issue #9054 自 2024 年開放至今未修復。硬體門檻也是常見抱怨點——執行較大模型需要 500-3000 美元以上的硬體投入。此外，缺乏內建 GUI（主要依賴 CLI）、缺乏文件處理等生產力功能、以及對非技術使用者不夠友好，都是反覆被提及的短板。

• 6. 行業評價 （共 616 字）

  科技媒體對 Ollama 的評價總體正面但趨於審慎。Elephas 的 2026 評測給出了詳細的功能分析，最終建議將 Ollama 作為後端引擎配合 Elephas 等具備完善介面的軟體一起使用，以實現「既有隱私保護又有高效產出」的效果。InsiderLLM 的基準測試顯示，單使用者場景下 Ollama 與原生 llama.cpp 效能持平（差距在 6% 以內），但多使用者併發時 vLLM 快 23%，24GB 視訊記憶體下 vLLM 的併發序列數是 Ollama 的約 4 倍。   競品對比方面，LM Studio 以精美 GUI 和 Apple MLX 加速見長，適合非技術使用者；LocalAI 定位生產級 OpenAI 替代品，內建速率限制、身份驗證和負載均衡；vLLM 憑藉 PagedAttention 技術統治企業級高併發市場；GPT4All 則以無需 GPU 的低門檻著稱。ML Journey 的對比文章總結了一個成熟開發流程：用 Ollama 快速驗證想法，用 LM Studio 評估對比模型效果，最終用 LocalAI 或 vLLM 部署到生產環境。   2026 年 4 月，Tony Bai 的中文技術部落格文章《從「開源英雄」到「社群公敵」，Ollama 到底做錯了什麼？》在中文開發者圈引發廣泛討論。文章指出 Ollama 的「三宗罪」：對上游 llama.cpp 的刻意淡化和歸屬缺失、用私有雜湊化檔名構建「資料監獄」導致模型無法跨工具共享、以及沿襲 VC 融資後商業化轉向的「經典劇本」。這篇文章被視為中文社群對 Ollama 爭議最系統的梳理。

• 7. 爭議與風險 （共 626 字）

  安全問題可能是 Ollama 當前面臨的最大挑戰。2026 年 1 月，安全研究人員發現全球有 17.5 萬臺 Ollama 伺服器暴露在公網上，分佈在 130 個國家，其中中國佔比略超 30%。近半數（48%）暴露主機啟用了工具呼叫能力，意味著攻擊者可透過 API 執行特權操作。還發現了 201 臺移除安全護欄的主機。這些資源已被惡意利用於垃圾郵件生成、虛假資訊活動、加密貨幣挖礦，甚至出現了名為「Operation Bizarre Bazaar」的專門轉售市場。   歷史漏洞記錄同樣令人擔憂。2024 年發現 6 個關鍵安全漏洞，其中 CVE-2024-37032 可導致遠端程式碼執行（RCE）；2025 年 8 月桌面應用 v0.10.0 被 GitLab 安全專家發現 CORS 跨域訪問控制不完善的 Drive-by 攻擊漏洞，攻擊者可攔截聊天、修改響應甚至推送中毒模型（數小時內釋出 v0.10.1 修復）。中國國家網路安全通報中心也在 2025 年 3 月通報 Ollama 預設配置存在未授權訪問與模型竊取風險。   社群關係危機是另一個維度。Hacker News 上「Stop Using Ollama」討論帖獲得了大量關注，Sleeping Robots 部落格發文《Friends Don't Let Friends Use Ollama》。核心矛盾在於：Ollama 的成功建立在 llama.cpp 的基礎上，但在宣傳中長期淡化上游貢獻，MIT 協議要求的版權宣告也未充分履行。隨著 2025 年推出閉源 GUI 應用和付費雲服務，社群信任受到進一步衝擊。

• 8. 適用人群與使用建議 （共 375 字）

  Ollama 最適合以下人群：需要資料絕對隱私的開發者和研究人員（醫療、法律、金融等領域）、希望消除 API 呼叫成本的個人開發者和中小企業、需要在離線或隔離環境中使用 AI 的使用者、以及想快速原型驗證 AI 想法的工程師。Apple Silicon Mac 使用者由於統一記憶體架構的優勢，跑本地模型體驗尤為出色。   不太適合的人群包括：追求開箱即用 GUI 體驗的非技術普通使用者（推薦 LM Studio）、需要處理高併發請求的生產環境（推薦 vLLM）、需要快速響應速度的實時應用場景，以及對開源治理和企業合規有嚴格要求的企業。   替代方案方面，個人桌面使用可選 LM Studio（GUI 友好）或 llama.cpp 直接呼叫（更多控制權）；企業生產環境首選 vLLM（高效能併發）；邊緣部署考慮 llama.cpp 的 CPU 推理最佳化版本；需要完整生態系統可看 AnythingLLM 或 Jan.ai。

• 9. 總結 （共 253 字）

  Ollama 在過去兩年多的時間裡，憑藉極簡的使用者體驗和先發優勢，確立了本地 LLM 執行工具的事實標準地位。16.9 萬 GitHub 星標、5200 萬月下載量、100+ 支援模型，這些數字證明了市場需求的存在和產品的核心價值。然而，站在 2026 年中這個時間節點上，Ollama 正處於一個十字路口：安全事件的持續暴露、社群信任的動搖、競品的快速追趕，以及自身在高併發效能上的結構性缺陷，都在考驗這家 46 人公司的應對能力。對於大多數使用者來說，Ollama 仍然是入門本地 AI 的最佳起點，但它可能不是陪你走到終點的那個工具。

暫無深度報告

• 

  Teresa_ButlerK

  —

  回不去了，本地跑模型真香。

---

• 

  冬雪262

  —

  ollama run 一行命令就把模型拉下來跑，對純新手太友好了，當年折騰 CUDA 和編譯 llama.cpp 的日子總算翻篇了。

---

• 

  Joe_Murphy

  —

  用 Ollama 接 Open WebUI 之後體驗基本對標 ChatGPT 網頁版，敏感的公司文件、合同、程式碼再也不用擔心發到雲端，這點對做合規的團隊是真剛需。

---

• 

  ua0b9s9

  —

  在 M4 Mac Studio 上跑 Qwen2.5-72B 直接把團隊的 ChatGPT Pro 替換掉了，每月省下的訂閱費夠再買塊記憶體。代價是延遲比雲端高一點，但資料不出本機這件事在客戶合同場景裡就是剛需，合規審查直接省了。

---

• 

  NCook_88

  —

  預設上下文視窗 4096 太小了，跑 agent 和長文件檢索經常被截斷，得手動改 num_ctx 才正常。

---

• 

  RDavis_2021

  —

  Ollama 底層就是 llama.cpp，但它把很多精細控制引數都封裝掉了。想壓榨每一 MB 視訊記憶體、精確控制 offload 到 GPU 的層數時還是得直接上 llama.cpp。我那張 RTX 4060 8G 卡想跑 14B 模型，只能靠 llama.cpp 手動調 -ngl 把部分層放回 CPU，Ollama 做不到這麼細的粒度。

---

• 

  Amanda.Lee_99

  —

  新手別下 smollm2:135m，純屬 credibility trap。

---

• 

  Betty_AllenZ

  —

  模型預設存系統盤這個坑我踩過，C 盤直接被幾個 4 到 10G 的模型塞滿。後來改了 OLLAMA_MODELS 環境變數指向資料盤才解決。另外國內拉模型慢的話設個映象源，速度能翻好幾倍，下載體驗天差地別。

---

• 

  Frank_KellyQ5

  —

  OpenAI 相容的 /v1 介面是真方便，現有調 ChatGPT 的程式碼改一行 base_url 指向 localhost:11434 就能本地跑了，本地原型驗證完再上雲，開發流程很順。

---

• 

  武萱剛

  —

  免費開源這一條就值了，跑多少 token 都不花錢，重度使用的推理成本直接歸零。

---

• 

  z8a1jx_m

  —

  Hacker News 上「Running local models is good now」那帖爆了不是沒道理，現在一行命令裝好兩行跑起來，跟兩年前折騰一整天的體驗完全兩碼事。

---

• 

  crazyswan128

  —

  Modelfile 自定義模型這個功能很贊，可以微調系統提示詞和溫度引數後打包成自己的模型分享給團隊，標準化 prompt 很方便

---

• 

  DrCamilleSingh_2024

  —

  記憶體佔用確實是痛點，跑箇中等規模模型基本就把電腦其他應用卡死了。感覺更適合專門配一臺機器當伺服器用，而不是在日常開發的機器上跑

---

• 

  Alice_RossQ

  —

  Mac M4 晶片跑 Ollama 確實絲滑，統一記憶體架構的優勢體現出來了，比同配置 Intel 機器快了一大截

---

• 

  PersistencePet440

  —

  版本迭代太快了有點跟不上節奏，上週剛寫好的指令碼今天更新後就報錯。不過社群活躍度確實高，GitHub issues 基本當天就有回覆

---

• 

  Donna_Jones5207

  —

  Windows 支援終於穩定了！之前用 WSL2 跑各種相容性問題，現在原生版體驗好很多，pull 模型的速度也快了不少

---

• 

  CryptoTraderRodriguez

  —

  安全漏洞那個事確實讓人擔憂，1.7 萬臺伺服器暴露在公網這種級別的問題不應該出現啊。希望官方後續加強安全引導，預設繫結 localhost 就好

---

• 

  Carolyn_Gonzales_2021

  —

  有沒有辦法限制 Ollama 的記憶體使用？每次自動更新模型快取就越佔越多，磁碟空間也不夠了都

---

• 

  SeanBrooks_66

  —

  說實話 Ollama 改變了我對本地 AI 的看法，以前覺得必須要有強顯示卡才能玩，現在發現 CPU 推理日常用也還行，就是慢一點而已

---

• 

  David.Sullivan

  —

  總體來說瑕不掩瑜，對於想入門本地 LLM 的人來說 Ollama 目前是最好的選擇沒有之一，先跑起來再慢慢調優

---

• 

  Scott_Thompson_Max

  —

  併發處理是硬傷，同時兩個請求過來就直接排隊。我們團隊試過接入內部工具，高峰期響應時間飆到 30 秒以上，最後還是換成了 vLLM 方案

---

• 

  書生855

  —

  對教學場景特別友好，給學生布置作業直接讓他們 ollama pull 一個模型就行，環境統一問題徹底解決。這學期 AI 導論課全班都用上了

---

• 

  Joyce.MurrayX

  —

  有人試過用 Ollama 跑 Qwen2.5-72B 嗎？我這張 4090 24G 視訊記憶體不知道夠不夠，線上等挺急的

---

• 

  Diane.StephensZ

  —

  GPU 利用率感覺不太理想，有時候視訊記憶體佔了但 GPU 負載才 30%-40%，是不是推理最佳化還有提升空間？

---

• 

  MPatel_7

  —

  5200萬月下載量這個數字真的嚇人，Ollama 基本已經成為本地 LLM 的事實標準了。競爭對手不是沒有但生態差距越拉越大

---

• 

  梁紅平

  —

  ollama ps 看執行中的模型、ollama ls 看已下載的模型，這幾個命令記熟了基本就夠用了，不需要學太多複雜的操作

---

• 

  MadsJensen

  —

  模型庫的版本管理有點混亂，同一個模型不同量化版本太多容易搞混。希望官方能做個更清晰的版本標註體系

---

• 

  JJones_7

  —

  推薦個實用技巧：用 OLLAMA_ORIGINS 環境變數可以做跨域訪問控制，配合 nginx 反代就能做一個私有 API 服務給內網多人用

---

• 

  JWard168

  —

  隱私這塊確實沒得說，資料全在本地，不用擔心傳到誰的伺服器上去。做敏感文件摘要和程式碼審查的場景下，Ollama 基本是我的首選方案

---

• 

  Teresa.Diaz_66

  —

  Ollama + Open WebUI 這個組合簡直無敵，搭了個內部分享平臺同事們都在用。模型隨便切換，介面也好看，比直接敲命令友好太多了

暫無評論