全文实测,可直接复制,拒绝云教程。目标:让完全没接触过 Docker 的小白,也能在 30 分钟内跑起来。
写在前面:你为什么需要私有化知识库?
先问自己几个问题:
-
公司内部几千份 SOP 文档,新人培训全靠口口相传?
-
每次被问同样的问题,你要重复回答几十遍?
-
把内部文档喂给 ChatGPT?数据安全谁敢保证?
这就是私有化知识库的刚需场景。而 FastGPT,是目前开源方案里把「好用」和「易部署」平衡得最好的------没有之一。
一、部署前:你需要准备什么?
硬件门槛(真·不挑机器)
官方要求 2C4G,实测 2C2G 的轻量服务器也能跑(但会有点喘,建议 4G 内存打底)。
以下配置随便选一个就行:
| 方案类型 | 具体选择 | 费用 | 适用场景 |
|---|---|---|---|
| 云服务器 | 阿里云/腾讯云 2C4G 轻量 | 约 50-80元/月 | 生产环境、公网访问 |
| 本地电脑 | 任意装了 Docker 的电脑 | 0元 | 本地测试、内网使用 |
| 虚拟机 | VirtualBox + Ubuntu | 0元 | 学习练手 |
关键点:如果你用云服务器,地域选择建议海外节点(比如新加坡、美西),因为拉取 Docker 镜像和 HuggingFace 模型时会快很多。国内节点也能跑,就是第一次启动要等久一点。
软件清单(三步装完)
bash
# 1. 装 Docker(一条命令搞定) curl -fsSL https://get.docker.com | bash # 2. 装 Docker Compose 插件(新版 Docker 自带) docker compose version # 有输出说明已安装 # 3. 验证安装 docker --version # 应该显示 Docker version 24+ 如果你用的是 Mac,直接去官网下载 Docker Desktop 安装包,双击就能装好。
二、部署:一条命令跑起来
官方提供了一键部署脚本,但我不推荐直接用------因为默认配置把 OpenAI 写死了,国内用不了。下面是自己动手的稳妥方案。
第一步:拉代码
bash
git clone https://github.com/labring/FastGPT.git cd FastGPT # 切到最新稳定版(2026年3月实测版本号是 v4.14.7) git checkout v4.14.7 第二步:进部署目录
bash
cd deploy/docker/cn # 注意是 cn 目录,里面配置了国内镜像源 这个 cn 目录很贴心,里面的镜像地址都换成了阿里云国内加速的,下载速度快很多。
第三步:下载配置文件
bash
# 下载主配置 wget https://doc.fastgpt.cn/deploy/config/config.json 第四步:选择数据库版本,一键启动
新手别纠结,直接选 PgVector 版本:
bash
docker-compose -f docker-compose.pg.yml up -d 为什么选 PgVector?
| 数据库方案 | 适用场景 | 新手友好度 |
|---|---|---|
| PgVector | 知识库索引 < 5000 万条 | |
| Milvus | 亿级以上向量 | |
| OceanBase | 国产化信创需求 |
第五步:等…
执行后会开始拉取镜像,大概 5-10 分钟(取决于你的网络)。可以用这个命令看进度:
bash
docker compose -f docker-compose.pg.yml logs -f 看到类似这样的日志,说明一切正常:
text
fastgpt | [Nest] 1 - INFO Server running on http://localhost:3000 第六步:访问
浏览器打开 http://你的服务器IP:3000。
-
默认账号:
root -
默认密码:
1234
进去之后第一时间修改密码!不然你的知识库对全世界开放。
三、配置模型:选哪个?怎么配?
跑起来了,但还没法用------因为没有配置大模型。FastGPT 需要两种模型:
-
对话模型(LLM):负责回答问题、生成内容
-
向量模型(Embedding):负责把文本转换成向量,供检索用
小白方案(推荐):直接用云端 API
不想折腾的,直接去注册个 DeepSeek 或 百度千帆,拿 API Key 填进去就行。
在 FastGPT 后台的操作路径:账号 → 模型提供商 → 添加模型
-
模型类型选「对话模型」
-
填 API Key 和 Base URL
这是最快的方式,成本极低(DeepSeek 几乎是免费的)。
进阶方案:本地跑私有模型
如果你有 GPU 或者单纯不想依赖外部 API,可以本地跑私有模型。
组合推荐:ChatGLM2-6B(对话) + M3E-Large(向量)
这是目前社区验证最成熟的私有化组合。
用 Docker 一条命令跑向量模型:
bash
docker run -d \ --name m3e-api \ -p 6008:6008 \ registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 等几分钟让模型加载完(首次会下载模型文件,约 2GB)。
对话模型可以用 ChatGLM2-6B:
bash
docker run -d \ --name chatglm2-api \ -p 6006:6006 \ registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2:latest 然后去 FastGPT 的 config.json 里配置这两个模型地址:
json
{ "llmModels": [{ "model": "chatglm2", "name": "ChatGLM2", "apiUrl": "http://localhost:6006/v1", "apiKey": "sk-xxx" }], "vectorModels": [{ "model": "m3e", "name": "M3E", "apiUrl": "http://localhost:6008/v1", "apiKey": "sk-xxx" }] } 重启 FastGPT 使配置生效:
bash
docker-compose -f docker-compose.pg.yml restart
踩坑提醒:一旦创建知识库时选定了向量模型,就不能再修改了,换模型要重建知识库。
四、建知识库:把文档喂给 AI
模型配置好了,现在开始搭建你的专属知识库。
建一个知识库
FastGPT 后台左侧导航 → 知识库 → 新建
填写名称(比如「公司产品手册」或「个人读书笔记」),模型选择你上面配好的向量模型(比如 M3E)。
导入文档:三种常用方式
| 方式 | 操作 | 适用场景 |
|---|---|---|
| 直接上传 | 拖拽 PDF/Word/TXT 进去 | 快速测试、少量文档 |
| 手动录入 | 自己写 Q&A 对 | 需要精准控制的内容 |
| API 导入 | 通过接口批量拉取 | 已有文档库对接 |
新手直接拖文件就行,支持 PDF、Word、Markdown、TXT、HTML、CSV 等常见格式。
数据预处理的小技巧
上传后系统会自动做切片(Chunking)。默认按 1500 字符一段切分。如果你的文档段落分明,可以手动调小这个值。
一个经验:技术文档、操作手册适合小切片(500-800 字符);长文章、书籍适合大切片(1500-2000 字符)。多试几次找到最优值。
导入完成后,可以在知识库里搜索测试。输入一个关键词,看看能不能召回相关内容。如果召回质量差,可能是相似度阈值设置有问题,去应用设置里调低「最低相关度」试试。
五、创建应用:跟你的知识库对话
知识库里已经有数据了,现在把它变成一个可以聊天的应用。
新建应用
后台左侧 → 应用 → 新建
选「知识库 + 对话引导」模板,这个最常用。
绑定知识库
在应用设置里找到「知识库」选项,勾选你刚才建的那个。
一个坑:应用只能绑定使用了同一个向量模型的知识库,不同模型不能混用。
调试相似度
这是决定问答质量最关键的一步。
在应用设置里找到「检索配置」,有个「最低相关度」滑块。默认 0.6-0.7。
-
调太低(如 0.4):召回内容多但可能不相关,AI 容易胡说
-
调太高(如 0.9):召回精准但可能漏掉相关内容,导致答不出
建议:先用默认值试,根据实际问答效果慢慢调整。
测试
在对话框里问一个知识库里有的问题,看 AI 回答得怎么样。
如果答非所问,大概率是分块策略或相似度没调好,回去微调一下。
六、一些你可能遇到的坑(附解决方案)
坑1:容器启动不起来,报端口占用
text
Error: listen tcp4 0.0.0.0:3000: bind: address already in use 解法:换个端口就行。改 docker-compose.pg.yml 文件,把 3000:3000 改成 3001:3000(左边是宿主机端口,可以随便换),然后重启。
坑2:镜像拉不动,卡在 Pulling
解法:检查你用的是不是 deploy/docker/cn 目录,里面的镜像地址是阿里云加速的。如果还慢,去阿里云免费申请个容器镜像加速器,配到 Docker 里。
坑3:导入文档后搜索没结果
解法:检查相似度阈值是不是太高了。先去应用设置里把「最低相关度」降到 0.3 左右,再搜一次。如果有结果了,说明阈值太高,慢慢往上调。另外检查一下文档语言------如果你用的是英文向量模型,搜中文内容肯定不行。
坑4:问答效果差,AI 胡编乱造
解法:通常是分块策略问题。去知识库里看下文档分块情况------如果一块内容太长或太短,调整切片参数重新导入。另外确认一下 Prompt 里有没有加限制,比如「如果知识库中没有相关信息,请说不知道,不要自己编造」。
写在最后
走到这一步,你的专属 AI 知识库已经跑起来了。
回顾一下我们做了啥:部署 FastGPT、配置模型、导入文档、创建应用。整个过程除了等镜像下载,真正动手的时间不到 10 分钟。
接下来你可以:
-
把公司内部文档全部喂进去,给团队做个 7x24 小时的 AI 助手
-
把你读过的书、看过的文章做成个人第二大脑
-
用它来学新东西------把教程喂进去,不会的直接问
私有化部署最大的价值不是省钱,是数据主权。你所有的文档、所有的对话记录,都在你自己的服务器上,谁也拿不走。