GPT开发平台操作手册
1. 概述
EAS Cloud的GPT开发平台,接入了苍穹GPT大模型,提供了一套工具栈,让开发者(或非开发者)可以快速基于大型语言模型搭建出各类生成式应用,让每个业务都能轻松构建AI助手。GPT助手可以灵活组合EAS Cloud的业务能力与大语言模型的生成能力,并展示多种形态的内容。利用知识库功能盘活企业各类文档资产,实现智能语义问答。
2 功能介绍
主要分为配置和使用,即在GPT开发平台进行相关配置,在GPT助手进行应用展示。
2.1 配置期-GPT开发平台
菜单路径:【应用】→【GPT助手】→【GPT开发平台】
由菜单权限项控制哪些用户可见,不受许可控制,可见即可使用
菜单权限项配置如下图:
授权用户首次打开GPT开发平台下任一菜单,会提示先签署服务协议,同意后才能进入具体功能页面
2.1.1 接口配置
接入苍穹AI大模型GPT能力,操作如下:
打开【应用】→【GPT助手】→【GPT开发平台】→【接口配置】
说明:除了[默认GPT提示编码]字段需要用户按需配置外,其他字段均从苍穹环境获取
字段说明
字段名称 | 详细解释 |
OpenAPI请求网址 | 苍穹GPT环境的IP或域名+端口 |
认证秘钥 | 对接苍穹环境创建的OpenAPI第三方应用AccessToken认证秘钥 |
OpenAPI编码 | 对接苍穹环境创建的OpenAPI第三方应用的编码 |
租户ID | 苍穹环境使用的租户ID |
数据中心ID | 苍穹环境使用的数据库ID |
用户编码 | 苍穹环境使用的账号编码 |
用户ID | 苍穹环境使用的账号名称,一般是手机号 |
默认GPT提示编码 | 默认为空,由客户自行配置 当GPT助手页面未选择任何技能时,对话内容来源于该默认的GPT提示 |
2.1.2 模型配置(服务实例)
语言模型配置,苍穹已配置好算法服务,EAS Cloud仅需配置服务实例即可,操作如下:
打开【应用】→【GPT助手】→【GPT开发平台】→【服务实例】
说明:这里直接单点登录苍穹的服务实例页面
点击“新增”按钮。填写实例名称、最大并发数,并选择对应的算法服务。
以配置百度-文心一言大模型为例:
首先准备百度AK/SK
登录百度智能云,参考应用接入文档,获取API Key(以下简称AK)及Secret Key(以下简称SK)。
配置信息中,字段可参考下表进行配置:
字段 | 百度模型 | 字段值 |
认证方式 |
| BAIDU |
ClientID |
| 获取的百度AK |
SecretKey |
| 获取的百度SK |
代理用户密钥 |
| 无需填写 |
协议类型 |
| HTTPS |
主机 |
| aip.baidubce.com |
端口 |
| 443 |
上下文地址 | ERNIE-Bot | /rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions |
ERNIE-Bot-turbo | /rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant |
ERNIE-Bot-4.0 | /rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro |
Embedding-V1 | /rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/embedding-v1 |
配置完成后,点击“保存”,并进行审核,使用状态变为可用后,即可进行下一步。
2.1.3 GPT提示
GPT提示提供可视化的提示词编排、管理、测试功能,可配置历史对话上下文、自定义输入、输出变量,并关联知识库。
打开【应用】→【GPT助手】→【GPT开发平台】→【GPT提示】
说明:这里直接单点登录苍穹的GPT提示页面,操作如下:
点击“新增”按钮。系统会自动生成一个新的【GPT提示】详情页面。首先,填写好“名称”等必录的基础字段。
GPT开发平台已适配市面上主流云厂商的各类模型,可选择想使用的模型,并配置模型风格。
关键字段说明:
字段 | 详细解释 |
语言模型 | 选择此提示词使用的语言模型,已适配市面上主流厂商的各种模型,例如百度文心一言。 |
模型风格 | 提供不同的风格以应对各类业务场景,可根据具体场景选择。 |
提示词 | 提示词用于对 AI 的回复做出一系列指令和约束。可插入业务自定义的变量,例如 {{input}},提示词中的变量的值会替换成从输入变量中传入的值。 |
输入配置 | 自定义想传入提示词的提示词变量,如添加变量,提示词中也应当维护对应的变量。 |
输出配置 | 默认输出prompt_output,若需解析模型输出的json,可打开“解析json”开关,在提示词中编写对应的要求并在输出配置中维护对应的变量。 |
知识库 | 如果想让语言模型基于知识库文档生成内容,需在关联对应知识库。 |
编写提示词
根据模型可编辑具体场景的提示词,提示词就是对AI回复的内容做出的要求和指令,提示词支持引入自定义变量,例如{{variable}}。
支持让AI记住跟用户对话的历史消息,历史消息条数是指每次请求中包含的AI回复和用户输入合计的条数。例如设置“包含历史消息”为10的时候,每次请求会包含5条用户历史输入及5条AI回复内容,如果历史消息条数超出模型的token数限制,系统将自动截取更近的历史消息。
在右侧对话框里,用户可以实时测试生成效果,并不断调整提示词。
注意:提示词中引入/输出的变量和输入/输出变量中配置的变量要一致。
关联知识库(可选)
支持在提示词中关联已处理好的知识库,在知识库配置面板内,点击“增行”后,选择对应知识库即可。
2.1.4 GPT任务
配置GPT任务,可将GPT提示、后台执行类,GUI/WEB界面操作以及消息节点编排在一起,并在侧边栏中使用。
打开【应用】→【GPT助手】→【GPT开发平台】→【GPT任务】
在【GPT任务】列表页点击“新增”按钮。
基本信息
关键字段说明:
字段名称 | 详细解释 |
使用组织 | 单选,非必录,数据来源管理单元 选择组织后,GPT助手技能列表会按照该组织进行隔离,不选默认对所有组织生效 选择组织后,会优先根据打开单据页面所属主业务组织所在管理单元进行技能过滤,找不到就取登录组织所属管理单元 |
模块 | 多选,非必录,数据来源许可明细表中对应的模块 支持模糊搜索 选择模块后,GPT助手技能列表会按照该模块进行隔离,不选默认对所有模块生效 |
类型 | 用来区分GUI/WEB技能,选择通用则针对GUI/WEB都生效 |
发布为技能 | 打开此开关后,可在侧边栏中对应组织,模块下使用此技能。如不在侧边栏中使用,可关闭此开关 |
引导语 | 用户手动选择此技能时,GPT助手会主动发送“引导语”给用户,以引导用户如何使用该技能 |
描述 | 帮助语言模型了解该技能的作用 |
编排
Inputs
说明:位于任务编排的第一行。用于调用非GPT助手对话页面发起的技能(如:在页面上自己嵌入GPT功能,自行调用对话接口),此时就需要自己来传参。
配置示例:
作用域:
Inputs里定义的参数在后续的所有编排中可以当作来源参数
Outputs
说明:位于任务编排的最后一行。整个技能走完之后最后的输出。用于调用非GPT助手对话页面发起的技能(如:在页面上自己嵌入GPT功能,自行调用对话接口),可以基于调用后获取到的接口返回值做相关功能操作。
配置示例:
注:来源参数可以选到inputs的输入和前面每一步编排的输出。
GPT提示
说明:即在苍穹GPT开发平台配置的GPT提示,通过选择对应的GPT提示后,会自动带出配置详情到EAS,如自定义参数和输出参数。
配置示例:
特殊配置
GPT返回JSON数据后,可以配置自动解析该JSON数据,把参数解析出来,并当作后面编排的输入参数。
后台执行类
说明:即执行后台方法,由业务或二开自己实现的静态公有方法,方法参数和返回值都是Map类型,业务或二开根据配置输入参数名从入参params中获取,并在处理后按照输出参数组合成Map返回。
配置示例:
注:Map中默认包含运行期上下文bosCtx,业务逻辑需要时可从Map中获取
WEB界面操作
说明:指前端页面的操作。需要配置方法名和输入输出参数。
方法名规定:
以下划线开头的默认会触发门户的方法。例如_openPortalPag。
配置示例:
接口说明
对于WAF2框架开发的页面,配置的WEB页面功能,需要在业务页面注册和实现对应的方法。重复注册相同方法名的方法时,会覆盖之前的实现方法,可用来扩展。
GUI界面操作
说明:指GUI端界面的操作。需要配置方法名和输入输出参数。
方法名规定:
以下划线开头的默认会触发门户的方法。例如_openPortalPag。
配置示例:
消息
说明:指返回给GPT助手对话页面的消息展示,目前支持3种类型
文本:普通的文字消息
图表:需要设置图表的来源参数数据源,是echarts框架能够渲染的数据格式,这个时候GPT助手对话页面会生成图表展示出来
交互:指还需要用户继续输入的类型。如发起对话后,还需要用户做进一步的输入,此时就需要配置交互类型的消息,等待用户第二次输入,并将数据作为后面编排的来源参数。
消息是可以叠加的,但是有相应的规则,如
交互不能配置多次
交互类型不能与其他非文本类型一起配置
配置示例:
文本与图表比较简单,不做特别阐述。交互型的消息配置后,下面的编排可以选到当前编排的输入当作来源参数。
2.1.5 知识库
提供文档给AI,实现指定范围内的问答、生成功能。
打开【应用】→【GPT助手】→【GPT开发平台】→【知识库】
说明:这里直接单点登录苍穹的知识库页面,操作如下:
在【知识库】列表页点击“新增”按钮。
打开【知识库】详情页,填写名称、知识库类型等基本信息。知识库类型一般选择“文档问答”即可。然后选择索引方式。若未配置索引方式,则需打开苍穹【GPT助手】配置模型参数。
在【文档管理】面板右侧点击“新增文件”按钮,上传相关文档后点击“确定”。
注意:支持5M以内,可解析的pdf、txt格式。
然后点击“文档处理”。
当所有文档完成分块、向量化处理后,知识库状态会变为“可用”。此状态下就可以在【GPT提示】内进行测试了。
2.1.6 任务日志记录
可以记录每个GPT任务运行的耗时情况及GPT任务编排中每一行执行的耗时情况。
1. 打开【应用】→【GPT助手】→【GPT开发平台】→【任务日志记录】
可以查看每个GPT任务运行的执行结果及执行时间。
2. 点击GPT任务编码可以进入耗时详情记录页面,可以查看GPT任务编排中每一行执行的执行结果,执行时间,及其他信息查看,如输入/输出参数,详细日志。
2.2 使用期-GPT助手
通过侧边栏展示:名称默认GPT助手
GPT助手图标:由许可控制是否可见可用,分配了许可才能看到该图标并使用。
输入栏默认灰选不可输入,需签署隐私协议,同意后才可以输入。
2.2.1 页面其他功能
技能:来源于GPT任务中已发布为技能的任务
选中某个技能后可以清除还原
技能列表支持搜索
技能列表根据GPT任务中配置的模块和组织进行数据隔离;且根据许可分配的是GPT全员助手或者GPT专业助手来相应展示全员或专业的技能
技能引导语,来源GPT任务中配置的引导语
发起新话题:清空上一次问询内容,重新开始问答
停止生成:当AI回复的内容较多,一直持续展现的过程中,可以选择停止生成不再继续回复
复制:可以复制上一次问题内容自动粘贴到下面输入框中
对话:
当未选择任何技能时,对话内容来源于接口配置中设置的默认提示词,如无默认提示词,对话会给出友好响应,如未配置默认提示词,请配置或选择一项“技能”。
对话框中内容支持复制。
可以保留当前用户最近10条对话消息。(技能引导语也包含其中)