简介

Ollama 是目前最流行的本地大语言模型运行工具。它将复杂的模型部署简化为一条命令,让任何人都能在自己的电脑(Mac/Linux/Windows)上轻松运行 Llama 3、DeepSeek、Mistral 等开源模型。

核心特点

  • 极其简单:一条命令 ollama run llama3 即可下载并运行
  • 资源高效:优化的推理引擎,支持 CPU/GPU 加速
  • 模型库丰富:官方库涵盖几乎所有主流开源模型 (GGUF 格式)
  • API 支持:提供标准 API,方便被其他应用(如 Obsidian、VS Code 插件)调用

常用命令

ollama run llama3       # 运行模型
ollama pull mistral     # 仅下载模型
ollama list             # 查看已安装模型
ollama rm llama3        # 删除模型

适用场景

  • 隐私敏感:完全离线运行,数据不出本地
  • 开发测试:本地调试 Prompt 和 Agent
  • 免费使用:利用本地算力,无 API 费用
  • 工具集成:作为 Continue、Obsidian Copilot 等插件的后端

官方链接