Deepseek知识库部署 这种AI产品部署到本地应该怎么操作?
DeepSeek 知识库部署到本地可通过多种方式实现,以下为你介绍常见的操作方法:
下载 Ollama:访问 Ollama 官网,根据自己的操作系统(如 Windows、Linux 等)下载对应的安装包。
安装 Ollama:下载完成后,双击安装包进行安装,默认安装路径为 C 盘,若不想安装在 C 盘,可在安装过程中选择其他路径。
验证安装:通过命令行工具(如 Windows 的 cmd),输入相关命令查看 Ollama 版本号,若能显示版本信息,则表示安装成功。
安装 DeepSeek 模型:在命令行中输入ollama run deepseek-r1或ollama run deepseek-r1:1.5b等命令,下载并运行 DeepSeek 模型,具体型号可根据需求选择。
安装词嵌入模型:输入ollama run dmeta - embedding命令安装词嵌入模型,用于构建本地知识库。
下载 LM Studio:获取 LM Studio 安装包,可从其官方渠道或正规软件下载平台下载。
安装 LM Studio:按照安装向导提示完成安装。
下载 DeepSeek 模型:推荐使用 HF - Mirror 下载 GGUF 后缀格式的 DeepSeek 模型,根据电脑配置选择合适的模型版本,可复制下载链接到迅雷等工具中下载,以提高下载速度。
载入模型:打开 LM Studio,将下载好的 DeepSeek 模型载入软件中。

下载安装 Docker:访问 Docker 官网,下载适合系统的 Docker 安装包并进行安装。
安装 Dify:登录 Dify 的 GitHub 页面,将其代码下载到本地并解压。注意保存路径不要有中文字符。通过 Windows 的 PowerShell 进入 dify 解压包下的 docker 目录,执行cp.env.example.env和docker - compose up - d命令,Docker 会自动拉取 Dify 相关文件。下载完成后,重启 Docker 桌面软件,在 containers 中能看到相关 image 且 Status 显示 Running,表示 Dify 下载成功。
本地部署 DeepSeek:在 Ollama 中搜索并下载 bge - large 模型,在命令窗口中执行相应的下载命令。
配置大模型:在浏览器中输入http://localhost/signin,进入 Dify 登录界面,登录后进入设置。在模型供应商中选择 ollama,基础 URL 填写http://host.docker.internal:11434,添加 DeepSeek 模型和 Text Embedding(bge - large 模型)。
搭建知识库:在 Dify 主界面点击知识库,创建新的知识库,上传本地文档,按照提示完成知识库配置,待显示嵌入已完成,则代表知识库导入成功。
安装 anythingLLM:可直接安装桌面版或通过 Docker 安装。桌面版安装时,双击安装包选择安装位置,保持联网状态,等待自动下载相关依赖和库。安装完成后,可通过浏览器访问http://localhost:3001/进入 anythingLLM 界面。
配置本地知识库:通过 PowerShell 输入ollama serve运行 ollama,默认可通过本地 11434 端口访问。打开 anythingLLM 软件,在 LLM 项中选择模型提供商为 ollama,并填写 Ollama 访问地址http://127.0.0.1:11434。输入ollama pull nomic - embed - text下载文本嵌入模型,在 anythingLLM 的 Embedder 项中选择该模型。Zui后上传要放入知识库的文件,将其导入工作空间并进行嵌入操作,完成后即可根据知识库内容提问。
