

AI本地化知识库部署通常无需申请,可通过选择合适工具,按照相应步骤自行搭建。以下以基于Ollama、DeepSeek和AnythingLLM,以及基于1Panel、Ollama、MaxKB的两种部署方式为例,介绍其流程:
基于Ollama、DeepSeek和AnythingLLM
1. 安装Ollama:Windows用户双击安装包安装。Linux/Mac用户通过命令行安装,命令为 curl -fsSL https://ollama.com/install.sh | sh 。可右键“此电脑”→属性→系统设置→环境变量,新建系统变量 OLLAMA_MODELS 来自定义模型存储路径。
2. 部署DeepSeek模型:根据显卡显存选择7B/13B/32B等合适的DeepSeek模型版本并下载。下载完成后,可在命令行输入问题测试模型交互。
3. 配置AnythingLLM知识库平台:访问官网下载并安装AnythingLLM。安装完成后运行客户端,点击左下角设置图标,设置Embedding模型和向量数据库。创建工作区,可在聊天设置中更改LLM模型,选择DeepSeek并输入相关API Key。
4. 构建本地知识库:在工作区设置中添加知识库文件,上传本地文档,即可通过提问测试知识库问答功能。
基于1Panel、Ollama、MaxKB
1. 准备服务器:准备一台本地GPU服务器,确保已安装好GPU驱动,可在服务器终端输入 nvidia - smi 查看驱动情况。
2. 安装1Panel:浏览器访问1Panel官网下载离线包,上传到服务器的/tmp目录,执行 tar -xvf 命令解压,进入解压目录执行 bash install.sh 进行安装。
3. 安装Ollama:登录1Panel页面,在“应用商店”的“AI/大模型”中找到Ollama并点击“安装”。打开“端口外部访问”,勾选“编辑compose文件”,粘贴相关文本让Ollama容器可调用GPU资源。
4. 安装MaxKB:在1Panel页面的“应用商店”,切换到“AI大模型”,点击MaxKB的“安装”按钮。打开“端口外部访问”,设置CPU为2核,内存为4096M,安装完成后访问服务器IP:8080,可进入MaxKB登录页面。
5. 对接DeepSeek -R1模型:在MaxKB的“模型设置”菜单中点击“添加模型”,模型供应商选择“Ollama”,填写模型相关基础信息,保存后即可完成对接。
6. 发布本地AI知识库:在MaxKB“知识库”菜单点击“创建知识库”,输入相关信息并选择向量模型等。上传本地文档,设置分段规则后点击“开始导入”,文件状态显示“成功”即完成部署。
| 成立日期 | 2020年03月25日 | ||
| 法定代表人 | 赵晓静 | ||
| 注册资本 | 100 | ||
| 主营产品 | 第一类/第二类增值电信业务ICP许可证办理,EDI许可证,SP许可证,ISP许可证,IDC许可证,CDN许可证等。 | ||
| 经营范围 | 从事互联网文化活动;技术开发;技术咨询;技术服务;软件开发;基础软件服务;应用软件服务;云计算中心(限PUE值在1.4以下);企业管理咨询;设计、制作、代理、发布广告;计算机系统服务;软件咨询;产品设计;销售医疗器械(I类、II类)、电子产品、通讯设备、计算机、软件及辅助设备;五金交电(不含电动自行车)、建筑材料、家用电器、工艺品、文具用品、体育用品、针纺织品、服装、鞋帽、日用品;健康咨询(须经审批的诊疗活动除外)。(市场主体依法自主选择经营项目,开展经营活动;从事互联网文化活动以及依法须经批准的项目,经相关部门批准后依批准的内容开展经营活动;不得从事国家和本市产业政策禁止和限制类项目的经营活动。) | ||
| 公司简介 | 是一家专注于增值电信、SP运营、互联网经营等领域企业,总部及运营中心设立于首都北京,并在全国各地设有分支机构。公司技术和实力雄厚,超十万业务成功案例,行业口碑广受各界认可,主要能办理:第一类增值电信业务ICP许可证办理,第二类增值电信业务,EDI许可证,SP许可证,ISP许可证,IDC许可证,CDN许可证代办。公司自成立以来,始终坚持以人才为本、诚信立业的经营原则,荟萃业界精英,以优质的服务态度、 ... | ||









