实操审校说明
本文属于部署实操教程。开源项目的版本号、镜像名称、配置项和硬件要求可能变化，请以官方文档、GitHub Release 和你本机实际输出为准。教程中的命令建议先在测试环境执行，再迁移到生产环境。
Ollama 本地部署大模型教程：在电脑上运行开源 LLM
📅 更新时间：2026 年 6 月
🔧 参考环境：Ollama v0.9.0+ / 支持模型：Llama 3.3 / Qwen 3 / DeepSeek-R1
👤 适合人群：想在自己电脑上跑大模型、担心数据隐私的用户
⏱ 预计完成时间：15 分钟
一、Ollama 是什么？
Ollama 让你在本地电脑运行开源大模型，无需联网、数据不出本机：
| 特点 | 说明 |
| 完全离线 | 下载后无需联网 |
| 数据隐私 | 数据不出本机 ✅ |
| 支持模型多 | Llama/Qwen/DeepSeek/Gemma 等 50+ 模型 |
| 简单易用 | 一条命令跑模型 |
| 跨平台 | macOS / Windows / Linux |
二、工具版本要求
| 工具 | 最低配置 | 推荐配置 |
| Ollama | 任何现代电脑 | — |
| 内存（7B 模型） | 8 GB | 16 GB |
| 内存（14B 模型） | 16 GB | 32 GB |
| 显卡（可选） | — | NVIDIA 8GB+ 显存 |
三、安装 Ollama
macOS 安装
# 方式1：Homebrew
brew install ollama
# 方式2：下载安装包
# 访问 https://ollama.com/download
# 下载 Ollama-darwin.zip，解压后拖入 ApplicationsWindows 安装
- 访问：https://ollama.com/download
- 下载
OllamaSetup.exe - 安装（需要 WSL2，安装程序会自动配置）
- 安装完成后，打开 PowerShell 验证：
ollama --versionLinux 安装
# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 验证
ollama --version四、下载并运行模型
推荐模型（2026 年 6 月）
| 模型 | 参数规模 | 大小 | 适合场景 | 命令 |
| Qwen3 | 8B | 5.0 GB | 中文任务首选 | ollama run qwen3 |
| Llama 3.3 | 8B | 5.2 GB | 英文任务 | ollama run llama3.3 |
| DeepSeek-R1 | 8B | 5.2 GB | 推理/数学 | ollama run deepseek-r1 |
| Gemma 3 | 4B | 3.3 GB | 低配电脑 | ollama run gemma3 |
| Phi-4 | 14B | 9.1 GB | 代码任务 | ollama run phi4 |
运行模型（一条命令搞定）
# 首次运行会自动下载模型（约 5-10 分钟，取决于网速）
ollama run qwen3
# 下载完成后直接进入对话
>>> 你好，请介绍一下你自己
（等待模型回复...）
# 退出对话
>>> /bye五、新手推荐：先跑 Qwen3 8B
# 1. 下载并运行（首次需要下载约 5GB）
ollama run qwen3
# 2. 对话测试
>>> 用 Python 写一个快速排序
（Qwen3 会生成完整代码）
>>> 把这个代码改成 JavaScript
（继续对话，上下文保持）
# 3. 退出
>>> /byeQwen3 优点：
- 中文理解最好
- 8B 版本 5GB，大部分电脑能跑
- 支持工具调用（Function Calling）
六、Ollama 常用命令
# 查看已下载的模型
ollama list
# 删除模型
ollama rm qwen3
# 查看模型信息
ollama show qwen3
# 后台运行（API 模式）
ollama serve
# 复制模型（基于现有模型创建自定义版本）
ollama cp qwen3 my-qwen3
# 查看 Ollama 状态
ollama ps七、用 Ollama 提供 API（给其它工具调用）
Ollama 启动后会自动提供兼容 OpenAI 的 API：
# API 地址
http://localhost:11434/v1
# 测试 API
curl http://localhost:11434/v1/models
# 用 OpenAI SDK 调用
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # 随便填，Ollama 不需要 Key
)
response = client.chat.completions.create(
model="qwen3",
messages=[{"role": "user", "content": "你好"}],
stream=False
)
print(response.choices[0].message.content)可以接入的工具：
- Dify（选 Custom Endpoint，填
http://localhost:11434/v1） - Open WebUI（类似 ChatGPT 的界面）
- Continue（VS Code AI 插件）
- 任何支持 OpenAI API 的工具
八、安装 Open WebUI（可选，让 Ollama 更好用）
Open WebUI 是一个开源的 Web 界面，让 Ollama 用起来像 ChatGPT：
# 用 Docker 一键部署
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
# 访问 http://localhost:3000功能：
- 多模型切换
- 聊天记录保存
- 文件上传（RAG）
- 多用户管理
九、自定义模型（Modelfile）
可以基于现有模型创建自定义版本（比如固定系统提示）：
# 1. 创建 Modelfile
cat > Modelfile << EOF
FROM qwen3
# 系统提示
SYSTEM "你是一个有用的中文助手，回答简洁准确。"
# 温度参数（创造力，0-1，越高越有创造力）
PARAMETER temperature 0.7
# 上下文长度
PARAMETER num_ctx 4096
EOF
# 2. 创建自定义模型
ollama create my-qwen3 -f Modelfile
# 3. 运行自定义模型
ollama run my-qwen3十、性能优化
| 问题 | 解决方法 |
| 运行慢 | 用更小的模型（4B 代替 8B） |
| 有显卡但不用 | 确保安装了 CUDA 驱动，Ollama 会自动检测 |
| 内存不足 | 用量化版本（如 qwen3:4b-q4_0） |
| 想更快 | 买 NVIDIA 显卡，或用量化模型 |
量化模型说明
qwen3:8b # 全精度，质量最好，最慢
qwen3:8b-q8_0 # 8位量化，质量接近全精度
qwen3:8b-q4_0 # 4位量化，速度快，质量略降（推荐）
qwen3:4b # 4B 参数，最快十一、与云端模型对比
| 对比项 | Ollama 本地 | DeepSeek 云端 | Claude 云端 |
| 费用 | 免费 | 按 Token 计费 | 按 Token 计费 |
| 速度 | 取决于电脑 | 快 | 快 |
| 数据隐私 | ✅ 完全私密 | ⚠️ 数据在云端 | ⚠️ 数据在云端 |
| 模型质量 | 中等 | 高 | 最高 |
| 推荐场景 | 敏感数据、离线使用 | 日常使用 | 复杂任务 |
十二、常见问题
❌ 问题1：ollama 命令找不到（Windows）
解决：重启电脑（安装程序会自动添加 PATH，需重启生效）
❌ 问题2：模型下载慢
解决：
- 使用国内镜像（设置环境变量
OLLAMA_MODELS=国内镜像地址） - 或手动下载模型文件，放到
~/.ollama/models/
❌ 问题3：运行模型时电脑卡死
原因：内存不足
解决：用更小的模型（如 gemma3:1b 只有 1.2GB）
*Ollama 是本地跑大模型最简单的方式，适合对数据隐私有要求的场景。*
