怎么申请AI本地化知识库部署？详细介绍一下办理流程

AI本地化知识库部署通常无需申请，可通过选择合适工具，按照相应步骤自行搭建。以下以基于Ollama、DeepSeek和AnythingLLM，以及基于1Panel、Ollama、MaxKB的两种部署方式为例，介绍其流程：

基于Ollama、DeepSeek和AnythingLLM

1. 安装Ollama：Windows用户双击安装包安装。Linux/Mac用户通过命令行安装，命令为 curl -fsSL https://ollama.com/install.sh | sh 。可右键“此电脑”→属性→系统设置→环境变量，新建系统变量 OLLAMA_MODELS 来自定义模型存储路径。

2. 部署DeepSeek模型：根据显卡显存选择7B/13B/32B等合适的DeepSeek模型版本并下载。下载完成后，可在命令行输入问题测试模型交互。

3. 配置AnythingLLM知识库平台：访问官网下载并安装AnythingLLM。安装完成后运行客户端，点击左下角设置图标，设置Embedding模型和向量数据库。创建工作区，可在聊天设置中更改LLM模型，选择DeepSeek并输入相关API Key。

4. 构建本地知识库：在工作区设置中添加知识库文件，上传本地文档，即可通过提问测试知识库问答功能。

基于1Panel、Ollama、MaxKB

1. 准备服务器：准备一台本地GPU服务器，确保已安装好GPU驱动，可在服务器终端输入 nvidia - smi 查看驱动情况。

2. 安装1Panel：浏览器访问1Panel官网下载离线包，上传到服务器的/tmp目录，执行 tar -xvf 命令解压，进入解压目录执行 bash install.sh 进行安装。

3. 安装Ollama：登录1Panel页面，在“应用商店”的“AI/大模型”中找到Ollama并点击“安装”。打开“端口外部访问”，勾选“编辑compose文件”，粘贴相关文本让Ollama容器可调用GPU资源。

4. 安装MaxKB：在1Panel页面的“应用商店”，切换到“AI大模型”，点击MaxKB的“安装”按钮。打开“端口外部访问”，设置CPU为2核，内存为4096M，安装完成后访问服务器IP:8080，可进入MaxKB登录页面。

5. 对接DeepSeek -R1模型：在MaxKB的“模型设置”菜单中点击“添加模型”，模型供应商选择“Ollama”，填写模型相关基础信息，保存后即可完成对接。

6. 发布本地AI知识库：在MaxKB“知识库”菜单点击“创建知识库”，输入相关信息并选择向量模型等。上传本地文档，设置分段规则后点击“开始导入”，文件状态显示“成功”即完成部署。