GPT开发平台的部署需要做什么?向量数据库部署信息去哪里找?部署后如何配置mc信息?
问题描述
私有化客户使用GPT开发平台的知识库相关功能依赖向量数据库,现场部署数据库的相关步骤和资源要求是什么?
解决方法
GPT开发平台相关部署工作:
步骤1:准备模型接口(如GPT3.5、GPT4.0、Azure text embedding模型的密钥等参数);
步骤2:升级苍穹6.0.1后将1中的模型接口的参数配置到【AI能力中心】→【服务实例】中 ;
步骤3:向量数据库部署,相关资料及信息可参考:
参考官方文档:https://milvus.io/docs/v2.2.x/install_standalone-docker.md
镜像版本:
1.milvusdb/milvus:v2.2.3
2.minio/minio:RELEASE.2022-03-17T06-34-49Z
3.quay.io/coreos/etcd:v3.5.5
部署硬件要求参考:
- CPU:Intel第二代酷睿处理器或更高版本
- 内存:16GB
- 硬盘:SATA 3.0 SSD或更高版本 50G
步骤4:向量数据库MC配置
v6.0版本
1.1. 系统路径【MC】→【租户管理】
1.2. 选择租户,如下图
1.3. 租户配置
新增配置项,并将相关信息配置完成后保存
milvus.host:xxx.xxx.xxx.xxx
milvus.port: xxxx
milvus.user:xxxx
milvus.passwd:xxxx
1.4. 发布信息
2. v6.0.2及以上
2.1. 系统路径【MC】→【组件维护】→【向量数据库管理】
2.2. 点击“新增”按钮
然后并配置向量数据库部署的信息
2.3. 分配租户
2.4. 发布信息
适用版本
COSMIC.V6.0.1_1030及以上
常见问题Q&A
Q:向量库连接初始化失败
异常内容:Could not initialize class kd.ai.gai.core.service.milvus.MilvusService$Holder
A:配置未生效,需重启GPT开发平台(appID:GAI)对应的容器服务。
参考资料
参考配置文件及相关镜像资源:https://iknow.kingdee.com/index.html#doc/enterprise/1037298,若无权限,请联系大模型服务部;
milvus向量数据库介绍可参考:
milvus资源如何估算,可参考:https://milvus.io/tools/sizing/
GPT开发平台的部署需要做什么?向量数据库部署信息去哪里找?部署后如何配置mc信息?
本文2024-09-23 01:02:00发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-143323.html