简介
Ollama 是目前最流行的本地大语言模型运行工具。它将复杂的模型部署简化为一条命令,让任何人都能在自己的电脑(Mac/Linux/Windows)上轻松运行 Llama 3、DeepSeek、Mistral 等开源模型。
核心特点
- 极其简单:一条命令
ollama run llama3即可下载并运行 - 资源高效:优化的推理引擎,支持 CPU/GPU 加速
- 模型库丰富:官方库涵盖几乎所有主流开源模型 (GGUF 格式)
- API 支持:提供标准 API,方便被其他应用(如 Obsidian、VS Code 插件)调用
常用命令
ollama run llama3 # 运行模型
ollama pull mistral # 仅下载模型
ollama list # 查看已安装模型
ollama rm llama3 # 删除模型适用场景
- 隐私敏感:完全离线运行,数据不出本地
- 开发测试:本地调试 Prompt 和 Agent
- 免费使用:利用本地算力,无 API 费用
- 工具集成:作为 Continue、Obsidian Copilot 等插件的后端