有想了解AI本地化知识库部署的吗 详细申请流程、条件介绍

有想了解AI本地化知识库部署的吗 详细申请流程、条件介绍

AI 本地化知识库部署通常没有复杂的申请流程，一般是根据自身需求和技术能力进行搭建。以下是其部署条件及大致搭建流程介绍：

部署条件

• 硬件条件：

• 显存：建议 16GB 及以上，如 NVIDIA RTX 4090 等显卡，以支持大模型运行。若处理大规模数据或使用大型模型，显存需求可能更高。

• 内存：32GB 及以上，以保证数据处理流畅，避免因内存不足导致系统卡顿或程序崩溃。对于大型企业级知识库或高并发场景，可能需要 64GB 或更多内存。

• 存储：至少预留 50GB 空闲空间，用于存储模型、文档和向量数据库等。若有大量文档数据，需根据实际情况增加存储容量，建议使用高速固态硬盘（SSD）以提高数据读写速度。

• CPU：开发测试环境下，4 核（Intel i5+）即可满足基本需求，生产环境建议 8 核（Intel Xeon/E5+）及以上，对于 67B 及以上的大模型，建议使用 16 核（AMD EPYC/Intel Xeon）。

• 软件条件：

• 操作系统：Windows、Linux 或 macOS 均可，建议使用 Linux 系统，因其在资源管理和性能优化方面具有一定优势，更适合服务器环境。

• 依赖软件：通常需要安装 Docker 和 docker - compose 来管理应用程序及其依赖项，还需要根据所选模型和平台安装相应的嵌入模型，如 nomic - embed - text、bge - m3 等。

部署流程（以 Ollama、DeepSeek R1 和 Cherry Studio 为例）

1. 安装 Ollama：访问Ollama 官网下载安装包进行安装。若想更改默认安装路径，可在命令行中以管理员权限运行，将其安装到指定盘符，如 D 盘。安装完成后，通过命令行输入 “ollama”，若显示相关信息则表示安装成功。

2. 配置环境变量：若希望模型下载到指定文件路径，需配置环境变量。在目标盘符创建 “ollama” 和 “ollama\models” 文件夹，编辑系统环境变量中的 “path” 变量，添加该路径，新建名为 “OLLAMA_MODELS” 的变量，值设为创建的模型存储路径，配置完后重启 ollama。

3. 下载并运行模型：在官网 Models 里搜索 DeepSeek R1 模型，使用 “ollama run deepseek - r1” 命令下载和配置模型，可指定版本如 “deepseek - r1:1.5b”。下载完成后会自动开启对话，可输入文本测试模型是否正常运行。同样方法可下载 Embedding 模型，如 nomic - embed - text。

4. 安装 Cherry Studio：访问 [Cherry Studio 官网](https://cherry - ai.com/download) 下载安装包，安装后打开运行。

5. 配置模型连接：在 Cherry Studio 中，点击左下角设置 - 模型服务，选择 Ollama，点击管理按钮，在列出的模型后面点击加号添加已安装的模型，本地模型无需配置 API 密钥，添加完成即配置成功。

6. 构建知识库：点击左侧知识库 - 添加，输入知识库名称，选择嵌入模型。点击创建的知识库，上传文件，支持 PDF 等多种格式。

7. 使用知识库：在对话问答框里选择对应的知识库进行提问，系统会根据知识库检索并做出回答，验证问答功能是否正常。