实操审校说明

本文属于部署实操教程。开源项目的版本号、镜像名称、配置项和硬件要求可能变化，请以官方文档、GitHub Release 和你本机实际输出为准。教程中的命令建议先在测试环境执行，再迁移到生产环境。

AnythingLLM 私有知识库教程：搭建可本地运行的 RAG 系统

📅 更新时间：2026 年 6 月

🔧 参考环境：AnythingLLM v1.10+ / Docker 27+ / Ollama（可选）

👤 适合人群：想搭建私有知识库的企业/个人

⏱ 预计完成时间：30 分钟

一、AnythingLLM 是什么？

AnythingLLM 是开源自部署的 AI 知识库工具，可以：

• 上传文档（PDF/Word/TXT/Markdown）→ AI 基于文档回答
• 完全私有化部署，数据不出服务器
• 支持多种 LLM（OpenAI/DeepSeek/Ollama/本地模型）
• 有 Web 界面，不懂代码也能用

类似工具对比：

二、Docker 一键部署

安装 Docker

参考 Dify 部署教程里的 Docker 安装步骤。

启动 AnythingLLM

# 创建数据目录
mkdir -p ~/.anythingllm

# 启动（Docker 会自动下载镜像）
docker run -d \
  -p 3001:3001 \
  -v ~/.anythingllm:/app/server/storage \
  -v ~/.anythingllm/.env:/app/server/.env \
  --name anythingllm \
  mintplexlabs/anythingllm

# 访问 http://localhost:3001

三、首次配置

步骤1：设置管理员账号

1. 访问 http://localhost:3001
2. 设置邮箱、密码（首个用户为管理员）
3. 选择使用场景：「个人使用」或「团队协作」

步骤2：配置 LLM（AI 模型）

AnythingLLM 支持多种 LLM，推荐：

方式1：用 Ollama（本地，免费）

1. 先安装并启动 Ollama（参考 Ollama 教程）
2. AnythingLLM 设置 → LLM 偏好 → 选择「Ollama」
3. Base URL：http://localhost:11434
4. 模型：选择已下载的模型（如 qwen3）

方式2：用 DeepSeek（云端，便宜）

1. 设置 → LLM 偏好 → 选择「Generic OpenAI」
2. Base URL：https://api.deepseek.com/v1
3. API Key：填你的 DeepSeek Key
4. 模型：deepseek-v4-flash（DeepSeek V4 Flash）

四、上传文档构建知识库

步骤1：创建工作区

1. 点击「新建工作区」
2. 填写名称，如「我的技术文档」
3. 点击进入工作区

步骤2：上传文档

1. 工作区页面 → 点击「上传」
2. 支持格式：PDF / Word / TXT / Markdown / CSV
3. 选择文件，上传（约 1-2 分钟/文件）
4. 上传完成后，文档会被向量化（变成 AI 可搜索的格式）

步骤3：测试问答

1. 在工作区聊天框输入问题
2. AI 会基于你上传的文档回答
3. 如果回答不准确，可以：

- 调整「上下文片段数量」（设置里）

- 重新上传更清晰的文档

五、高级功能

功能1：网页抓取

1. 工作区 → 「添加数据源」→「Web 抓取」
2. 输入网址，AnythingLLM 会自动抓取网页内容
3. 抓取完成后，可以基于网页内容提问

功能2：YouTube 视频总结

1. 「添加数据源」→「YouTube」
2. 粘贴视频链接
3. AnythingLLM 会自动转录视频字幕，构建知识库
4. 可以提问视频里的内容

功能3：多工作区隔离

• 不同项目/客户创建不同工作区
• 每个工作区的文档互相隔离
• 适合团队协作（不同成员只能访问特定工作区）

六、与 Ollama 配合使用（完全离线方案）

如果想完全离线使用（不依赖任何云服务）：

# 1. 启动 Ollama（本地模型）
ollama run qwen3

# 2. 启动 AnythingLLM（另一个终端）
docker run -d -p 3001:3001 ...

# 3. 在 AnythingLLM 设置里配置 Ollama
# LLM 偏好 → Ollama
# Base URL: http://host.docker.internal:11434

⚠️ 注意：Docker 容器里访问宿主机的 Ollama，地址用 host.docker.internal（macOS/Windows）或宿主机 IP（Linux）。

七、服务器部署

推荐服务器配置

部署步骤

# 1. SSH 登录服务器
ssh root@你的服务器IP

# 2. 安装 Docker（参考 Dify 教程）

# 3. 启动 AnythingLLM
docker run -d \
  -p 3001:3001 \
  -v ~/anythingllm:/app/server/storage \
  --name anythingllm \
  mintplexlabs/anythingllm

# 4. 配置反向代理（Nginx）
# 让 http://kb.你的域名.com 指向 localhost:3001

八、常见问题

❌ 问题1：上传文档后问答不准确

原因：向量化质量不高或 LLM 能力不足

解决：

1. 用更强或更新的模型（如 deepseek-v4-flash / deepseek-v4-pro 代替本地小模型）
2. 在设置里增加「上下文片段数量」
3. 文档格式转成纯文本再上传（PDF 解析有时会出错）

❌ 问题2：Docker 容器无法访问 Ollama

解决（Linux）：

# 让 Docker 容器访问宿主机服务
# 在 AnythingLLM 设置里，Ollama Base URL 填：
http://172.17.0.1:11434

❌ 问题3：知识库数据丢失

解决：确保 Docker 数据卷正确挂载（-v ~/.anythingllm:/app/server/storage）

九、目录结构

~/.anythingllm/
├── documents/         # 上传的文档
├── vector-cache/      # 向量数据库缓存
├── models/            # 自定义模型（如有）
└── config.json        # 配置文件

*AnythingLLM 是搭建私有知识库最简单的方案，适合个人和企业内部使用。*