Ollama

使用开源模型构建应用的最简单方式，在本地运行大语言模型的免费开源工具

大语言模型

https://ollama.com/

前往官网

深度报告

Ollama 是当前全球最受欢迎的本地大语言模型运行工具，GitHub 星标超过 16.9 万，位列全球第 35 名。它被业界称为「LLM 界的 Docker」，通过一行命令即可在本地下载和运行 100 多种开源 AI 模型。截至 2026 年第一季度，月下载量已达 5,200 万次，较初创期增长 520 倍。Ollama 由 Jeffrey Morgan 和 Michael Chiang 于 2023 年联合创立，总部位于美国帕洛阿尔托，获 Y Combinator 孵化支持。产品核心优势在于完全免费开源（MIT 协议）、数据隐私安全、以及与 OpenAI 兼容的 API 设计。然而，它在高并发性能、安全默认配置以及社区关系方面存在显著短板——2026 年初全球暴露的 17.5 万台未认证 Ollama 服务器事件，以及 Hacker News 上「停止使用 Ollama」的热议，都揭示了这款工具面临的深层挑战。
Ollama 的故事始于 2023 年 6 月，当时其 GitHub 仓库正式创建。公司总部设在美国加州帕洛阿尔托，创始团队包括 CEO Jeffrey Morgan 和联合创始人 Michael Chiang。两人此前曾构建被 Docker 收购的 Kitematic（Docker GUI 工具），这为 Ollama 后续的产品策略埋下了伏笔。项目经过 Y Combinator W21 孵化器加速，于 2021 年 3 月获得 12.5 万美元 pre-seed 轮融资，后续又获得 ACOF 机构投资，具体金额未公开。截至 2026 年 1 月，公司员工规模约 46 人。 Ollama 诞生的背景是开源大模型的爆发式发展。Meta 的 Llama 系列、阿里通义千问 Qwen、DeepSeek、谷歌 Gemma 等模型相继开源，但普通开发者要在本地运行这些模型，需要经历获取权重、量化处理、环境配置、参数调优等复杂流程。Ollama 将这一切简化为 `ollama run llama3` 一条命令，极大降低了本地 AI 的使用门槛。技术架构方面，Ollama 使用 Go 语言编写，底层推理引擎依赖 Georgi Gerganov 创建的 llama.cpp C++ 库（通过 CGo 调用），模型格式采用 GGUF 标准，支持从 3B 到 70B+ 参数规模的各类模型。当前最新版本为 v0.21.0，于 2026 年 4 月 17 日发布。
Ollama 的核心功能围绕「简化本地模型运行」这一目标展开。最基础的能力是一键模型下载与运行：用户只需执行 `ollama run` 加模型名，系统会自动下载、加载并启动交互式对话。除了交互模式，也支持非交互模式下的单次输出，适合脚本集成场景。当内存充足时，还可在不同终端同时运行多个模型并行推理。 API 能力是 Ollama 的重要卖点。它提供 OpenAI 兼容的 REST API 端点，包括 `/v1/chat/completions`、`/api/chat`、`/api/generate`、`/api/embeddings` 等。这意味着现有使用 OpenAI SDK 的应用只需更改 base_url 即可无缝切换到本地模型，无需修改业务逻辑代码。官方提供了 Python（`pip install ollama`）和 JavaScript（`npm install ollama`）SDK，支持流式输出。 Modelfile 是 Ollama 的特色功能之一。类似 Docker 的 Dockerfile，用户可以通过 Modelfile 自定义系统提示词、温度参数、上下文长度等配置，创建专属模型变体。例如设置 `PARAMETER temperature 0.8` 和 `SYSTEM "You are a Python expert"` 来打造专门的编程助手。 2025-2026 年间，Ollama 新增了多项重要功能。工具调用（Tool Calling）能力允许模型与外部工具交互，是构建 AI Agent 的基础；Web Search API 让本地模型也能获取实时网络信息；v0.19 版本重新构建了 Apple Silicon 推理架构，基于 MLX 框架实现显著的性能提升，同时新增 NVFP4 量化和更智能的 KV 缓存复用机制；Windows ARM64 原生支持则适配了高通 Snapdragon X Elite 等 ARM 笔记本电脑。跨平台覆盖方面，Ollama 支持 macOS 11+、Linux 主流发行版、Windows x64/ARM64 以及 Docker 部署。硬件层面支持 NVIDIA GPU（CUDA 5.0+）、AMD GPU（ROCm 预览）、Apple Silicon（Metal/MLX）以及 Intel Arc（实验性）。当模型过大无法完全载入 GPU 内存时，系统会自动将部分层放在 CPU 上运行。模型库是 Ollama 生态的核心资产。官方库收录超过 100 个优化过的开源模型，涵盖 Meta Llama 3.2/3.3（1B-90B）、DeepSeek-R1（7B-67B）、Qwen 2.5/3（最高 72B）、Google Gemma 2/4（2B-27B）、微软 Phi 4（3B-14B）、Mistral/Mixtral（7B-8x22B），以及 Moonshot AI 的 Kimi-K2.5、智谱 GLM-5、MiniMax 等中国模型系列。
Ollama 的本地功能完全免费，采用 MIT 开源协议，无任何隐藏费用或订阅门槛。这是其吸引大量开发者和企业的关键因素。 2025 年 8 月，Ollama 推出了云端推理服务 Turbo，标志着商业化探索的开始。Turbo 提供三层套餐：免费版可访问基础云端模型；Pro 版每月 20 美元，支持 3 个云端模型并行和 50 倍云端用量；Max 版每月 100 美元，支持 10 个并行模型和比 Pro 多 5 倍的用量。云端服务主要基于 GPT-OSS 系列模型（Apache 2.0 许可），最高速度可达 300+ tokens/秒，部分模型可达 1,200 tokens/秒。官方声明不保留用户数据，服务器位于美国、欧洲和新加坡。这套「本地免费 + 云端付费」的混合模式，被部分社区成员视为对开源初心的偏离，也成为 Hacker News 上争议的核心话题之一。
正面评价主要集中在易用性和隐私保护两个维度。Product Hunt 上 Ollama v0.19 获得 425 票和满分 5.0 分评价，排名当日第 2 名。ToolPilot 编辑评分 4.7/5，用户普遍认可其安装便捷性（几分钟即可启动运行）和数据安全特性（数据永不离开设备）。一位 Product Hunt 用户表示用它来创建 OLLama LLM Throughput Benchmark Tool，体现了其在开发者工具链中的实用价值。中文社区的评价同样积极。知乎、CSDN、少数派等平台上有大量部署教程和实战分享，用户反馈集中在「月省几百订阅费」「从刀耕火种步入现代社会」「断网可用适合内网环境」等实际收益上。企业用户案例包括医疗机构的临床文档辅助（Llama 70B，日处理 1000+ 份笔记且 PHI 不外传）、法律事务所的文档审查（零数据传输风险）、制造业边缘质量控制（Jetson 部署，完全离线），以及软件开发团队的本地 LLM 功能开发（月节省 4000 美元 API 成本）。负面反馈同样不容忽视。Hacker News 上有热议帖「Stop Using Ollama」，批评者认为 Ollama 本质只是 llama.cpp 的包装器，却长期规避对上游项目的归属标注。性能方面，本地推理速度慢于云端服务，基础输出需等待 10-30 秒。高并发场景下表现尤为糟糕：采用 FIFO 队列处理请求，50 并发时 p95 延迟达 18.4 秒，128 并发时直接崩溃，GitHub Issue #9054 自 2024 年开放至今未修复。硬件门槛也是常见抱怨点——运行较大模型需要 500-3000 美元以上的硬件投入。此外，缺乏内置 GUI（主要依赖 CLI）、缺乏文档处理等生产力功能、以及对非技术用户不够友好，都是反复被提及的短板。
科技媒体对 Ollama 的评价总体正面但趋于审慎。Elephas 的 2026 评测给出了详细的功能分析，最终建议将 Ollama 作为后端引擎配合 Elephas 等具备完善界面的软件一起使用，以实现「既有隐私保护又有高效产出」的效果。InsiderLLM 的基准测试显示，单用户场景下 Ollama 与原生 llama.cpp 性能持平（差距在 6% 以内），但多用户并发时 vLLM 快 23%，24GB 显存下 vLLM 的并发序列数是 Ollama 的约 4 倍。竞品对比方面，LM Studio 以精美 GUI 和 Apple MLX 加速见长，适合非技术用户；LocalAI 定位生产级 OpenAI 替代品，内置速率限制、身份验证和负载均衡；vLLM 凭借 PagedAttention 技术统治企业级高并发市场；GPT4All 则以无需 GPU 的低门槛著称。ML Journey 的对比文章总结了一个成熟开发流程：用 Ollama 快速验证想法，用 LM Studio 评估对比模型效果，最终用 LocalAI 或 vLLM 部署到生产环境。 2026 年 4 月，Tony Bai 的中文技术博客文章《从「开源英雄」到「社区公敌」，Ollama 到底做错了什么？》在中文开发者圈引发广泛讨论。文章指出 Ollama 的「三宗罪」：对上游 llama.cpp 的刻意淡化和归属缺失、用私有哈希化文件名构建「数据监狱」导致模型无法跨工具共享、以及沿袭 VC 融资后商业化转向的「经典剧本」。这篇文章被视为中文社区对 Ollama 争议最系统的梳理。
安全问题可能是 Ollama 当前面临的最大挑战。2026 年 1 月，安全研究人员发现全球有 17.5 万台 Ollama 服务器暴露在公网上，分布在 130 个国家，其中中国占比略超 30%。近半数（48%）暴露主机启用了工具调用能力，意味着攻击者可通过 API 执行特权操作。还发现了 201 台移除安全护栏的主机。这些资源已被恶意利用于垃圾邮件生成、虚假信息活动、加密货币挖矿，甚至出现了名为「Operation Bizarre Bazaar」的专门转售市场。历史漏洞记录同样令人担忧。2024 年发现 6 个关键安全漏洞，其中 CVE-2024-37032 可导致远程代码执行（RCE）；2025 年 8 月桌面应用 v0.10.0 被 GitLab 安全专家发现 CORS 跨域访问控制不完善的 Drive-by 攻击漏洞，攻击者可拦截聊天、修改响应甚至推送中毒模型（数小时内发布 v0.10.1 修复）。中国国家网络安全通报中心也在 2025 年 3 月通报 Ollama 默认配置存在未授权访问与模型窃取风险。社区关系危机是另一个维度。Hacker News 上「Stop Using Ollama」讨论帖获得了大量关注，Sleeping Robots 博客发文《Friends Don't Let Friends Use Ollama》。核心矛盾在于：Ollama 的成功建立在 llama.cpp 的基础上，但在宣传中长期淡化上游贡献，MIT 协议要求的版权声明也未充分履行。随着 2025 年推出闭源 GUI 应用和付费云服务，社区信任受到进一步冲击。
Ollama 最适合以下人群：需要数据绝对隐私的开发者和研究人员（医疗、法律、金融等领域）、希望消除 API 调用成本的个人开发者和中小企业、需要在离线或隔离环境中使用 AI 的用户、以及想快速原型验证 AI 想法的工程师。Apple Silicon Mac 用户由于统一内存架构的优势，跑本地模型体验尤为出色。不太适合的人群包括：追求开箱即用 GUI 体验的非技术普通用户（推荐 LM Studio）、需要处理高并发请求的生产环境（推荐 vLLM）、需要快速响应速度的实时应用场景，以及对开源治理和企业合规有严格要求的企业。替代方案方面，个人桌面使用可选 LM Studio（GUI 友好）或 llama.cpp 直接调用（更多控制权）；企业生产环境首选 vLLM（高性能并发）；边缘部署考虑 llama.cpp 的 CPU 推理优化版本；需要完整生态系统可看 AnythingLLM 或 Jan.ai。
Ollama 在过去两年多的时间里，凭借极简的用户体验和先发优势，确立了本地 LLM 运行工具的事实标准地位。16.9 万 GitHub 星标、5200 万月下载量、100+ 支持模型，这些数字证明了市场需求的存在和产品的核心价值。然而，站在 2026 年中这个时间节点上，Ollama 正处于一个十字路口：安全事件的持续暴露、社区信任的动摇、竞品的快速追赶，以及自身在高并发性能上的结构性缺陷，都在考验这家 46 人公司的应对能力。对于大多数用户来说，Ollama 仍然是入门本地 AI 的最佳起点，但它可能不是陪你走到终点的那个工具。

用户评论

crazyswan128

—

Modelfile 自定义模型这个功能很赞，可以微调系统提示词和温度参数后打包成自己的模型分享给团队，标准化 prompt 很方便

DrCamilleSingh_2024

—

内存占用确实是痛点，跑个中等规模模型基本就把电脑其他应用卡死了。感觉更适合专门配一台机器当服务器用，而不是在日常开发的机器上跑

Alice_RossQ

—

Mac M4 芯片跑 Ollama 确实丝滑，统一内存架构的优势体现出来了，比同配置 Intel 机器快了一大截

PersistencePet440

—

版本迭代太快了有点跟不上节奏，上周刚写好的脚本今天更新后就报错。不过社区活跃度确实高，GitHub issues 基本当天就有回复

Donna_Jones5207

—

Windows 支持终于稳定了！之前用 WSL2 跑各种兼容性问题，现在原生版体验好很多，pull 模型的速度也快了不少

CryptoTraderRodriguez

—

安全漏洞那个事确实让人担忧，1.7 万台服务器暴露在公网这种级别的问题不应该出现啊。希望官方后续加强安全引导，默认绑定 localhost 就好

Carolyn_Gonzales_2021

—

有没有办法限制 Ollama 的内存使用？每次自动更新模型缓存就越占越多，磁盘空间也不够了都

SeanBrooks_66

—

说实话 Ollama 改变了我对本地 AI 的看法，以前觉得必须要有强显卡才能玩，现在发现 CPU 推理日常用也还行，就是慢一点而已

David.Sullivan

—

总体来说瑕不掩瑜，对于想入门本地 LLM 的人来说 Ollama 目前是最好的选择没有之一，先跑起来再慢慢调优

Scott_Thompson_Max

—

并发处理是硬伤，同时两个请求过来就直接排队。我们团队试过接入内部工具，高峰期响应时间飙到 30 秒以上，最后还是换成了 vLLM 方案

书生855

—

对教学场景特别友好，给学生布置作业直接让他们 ollama pull 一个模型就行，环境统一问题彻底解决。这学期 AI 导论课全班都用上了

Joyce.MurrayX

—

有人试过用 Ollama 跑 Qwen2.5-72B 吗？我这张 4090 24G 显存不知道够不够，在线等挺急的

Diane.StephensZ

—

GPU 利用率感觉不太理想，有时候显存占了但 GPU 负载才 30%-40%，是不是推理优化还有提升空间？

MPatel_7

—

5200万月下载量这个数字真的吓人，Ollama 基本已经成为本地 LLM 的事实标准了。竞争对手不是没有但生态差距越拉越大

梁红平

—

ollama ps 看运行中的模型、ollama ls 看已下载的模型，这几个命令记熟了基本就够用了，不需要学太多复杂的操作

MadsJensen

—

模型库的版本管理有点混乱，同一个模型不同量化版本太多容易搞混。希望官方能做个更清晰的版本标注体系

JJones_7

—

推荐个实用技巧：用 OLLAMA_ORIGINS 环境变量可以做跨域访问控制，配合 nginx 反代就能做一个私有 API 服务给内网多人用

JWard168

—

隐私这块确实没得说，数据全在本地，不用担心传到谁的服务器上去。做敏感文档摘要和代码审查的场景下，Ollama 基本是我的首选方案

Teresa.Diaz_66

—

Ollama + Open WebUI 这个组合简直无敌，搭了个内部分享平台同事们都在用。模型随便切换，界面也好看，比直接敲命令友好太多了

竹影_1

—

从 GPT-4API 切到 Ollama 本地跑 DeepSeek-R1 成本直接降到零，虽然效果差点但日常代码补全和文档整理完全够用

Ryan.PerryII32

—

跟 LM Studio 对比了一圈还是选了 Ollama，主要看重命令行的灵活性和 API 兼容性。接 OpenAI WebUI 和 LobeChat 都零配置就能用，开发者生态做得不错

星辰_7

—

文档写得还行但进阶内容偏少，想深入调参或者自定义部署的话得自己去翻源码和社区帖子。不过对大多数用户来说快速上手足够了

侠客526

—

嵌入模型支持越来越好了，用 nomic-embed-text 做本地 RAG 文档检索效果意外地不错，结合私域知识库做了个内部搜索工具

郑晨

—

社区里关于 Ollama 是否该收费的争论挺有意思，我觉得目前免费模式挺好的，如果后续加企业版收费也合理毕竟要养团队

TAher

—

ollama serve 加上 Ollama Coding 插件在 VS Code 里写代码体验出乎意料的好，本地补全延迟很低，断网也能用，出差党福音

曾昊

—

Ollama 真的把本地跑模型的门槛降到了地板上，一行命令就能拉起来。我之前折腾过手动部署 Llama 3，光依赖就装了一下午，Ollama 直接 ollama run llama3 搞定，对新手太友好了

JWoodJr

—

YC 出品质量还是有保障的，从开源项目到商业化路径走得比较稳。不像有些项目火一阵子就没维护了

WilliamBrown

—

装了 Ollama 之后我的 Mac 风扇就没停过，跑个 8B 参数模型内存直接吃掉 6G，笔记本发烫得能煎蛋。建议至少 16G 内存起步，32G 更舒服

Jeffrey897

—

希望未来能支持更多模型格式，现在主要是 GGUF，如果能直接加载 HuggingFace 原生格式就更完美了

ANcha

—

免费开源还能有这个质量，Ollama 团队真的良心。模型库直接 pull 就能用，不用自己去到处找权重文件，省了大量时间

Ollama

深度报告

用户评论

相关链接

同类产品