运营大脑-数据抽取操作指南
运营大脑的正常运转需要数据作为支撑,考虑到系统的性能、数据的管理等情况,在计算引擎运行之前,需要将相关数据整合后抽取到运营大脑数据库中,以方便数据管理,加快运算速度,提高系统性能;用于运营大脑运算的数据可以来自不同的数据库,本文将详细介绍数据从其他系统和数据库抽取到运营大脑数据库的整个业务流程。
数据抽取业务流程图:
数据抽取步骤如下:
一、维护分类标准
对数据表进行分类管理时,需要对数据表进行分类,为了使表分类清晰明了,所以给表分类指定分类标准。
1、进入分类标准列表,路径:【制造云】-【运营大脑】-【基础管理】-【分类标准】。
2、新增分类标准:点击列表上方的【新增】按钮,打开编辑界面,录入编码、名称和描述,点击【保存】就完成分类标准的新增。
3、审核分类标准:选择新建的分类标准,点击【提交】按钮,提交后的分类标准为审核状态,已审核的分类标准才能被引用。
二、维护表分类
随着集成数据的越来越多,所创建的目标表也会随之增加,为了避免数据表管理混乱,增加表分类功能,对各种表进行统一的分类管理。
1、进入表分类管理列表,路径:【制造云】-【运营大脑】-【基础管理】-【表分类管理】。
2、新增表分类:左边下拉列表选择对应的分类标准,点击列表上方的【新增】按钮,打开编辑界面,录入编码和名称、描述,点击【保存】就完成表分类的新增。
3、审核表分类:选择新建的表分类,点击【提交】按钮,提交后的表分类为审核状态,已审核的表分类才能被引用。
三、维护数据表
从第三方数据源抽取过来的数据需要在本地存储,因此需要创建对应的目标表进行数据存储,本功能提供目标表的创建与维护功能。
1、进入数据表管理列表,路径:【制造云】-【运营大脑】-【基础管理】-【数据表管理】。
2、新增数据表:点击列表上方的【新增】按钮,打开编辑界面,录入表名、表描述,设置字段,具体要求可以查看tooltips(如图),点击【保存】就完成数据表的新增。
表名格式要求:表名必须以"t_"或者"T_"开头,只能包含字母,数字,下划线,且长度不能超过30。
字段名格式要求:字段名必须以"f"开头且只能包含小写字母、数字、下划线,且字符数需控制在2至30之间。
3、审核数据表:选择新建的数据表,点击【提交】,提交成功后,系统自动在运营大脑分库(分库标识:phm)创建对应的数据库表。
4、选择数据表,点击【清空数据】,系统清空该数据表中已有的数据;点击【删除实体表】,系统删除数据库中创建的该数据库表。
四、建立数据连接
1、进入【制造云】-【运营大脑】-【基础管理】-【数据连接】列表界面,点击【新增】按钮,打开编辑界面。
2、选择连接类型,输入编码、名称、以及数据库连接信息,点击【保存】,完成数据连接的新增。
注意:“登录用户”必须是对方数据库已授权的用户。
3、测试连接配置,连接配置保存成功后,可以点击“测试”按钮,验证连接是否成功,如果出现“测试成功!”提示,说明连接配置已经成功。
4、保存成功后,点击【提交】【审核】,只有已审核状态的数据连接才能被引用。
五、连接初始化
1、进入【制造云】-【运营大脑】-【基础管理】-【连接初始化】列表界面。
2、同步元数据:左边树中现在一个数据连接,点击【同步元数据列表】,确认同步后,可以实时监控同步进度,同步完成后,列表中显示同步过来的元数据。
3、连接初始化详细功能可以参考社区有关集成对象的介绍,具体位置如下图所示。
URL:https://vip.kingdee.com/knowledge#tabMain
六、维护元数据
从第三方系统做数据抽取时,需要设置数据抽取的字段映射关系,而字段映射关系都是以数据源的元数据为基础进行设计,所以在字段映射关系设置前,必须先有元数据,需要对元数据进行管理的功能。
1、进入【制造云】-【运营大脑】-【基础管理】-【元数据管理】列表界面,点击【新增】按钮,打开编辑界面。
2、选择目标数据表(数据表管理中创建的表)、数据连接(数据连接中创建的连接)、源表(对应数据连接同步过来的元数据表),源表和目标表相同的字段名,系统会自动映射,字段名不一致的,需手工设置映射,设置完成后,输入其他信息,点击【保存】,完成元数据的新增。
3、切换到表目录页签,设置表分类。
4、审核元数据:选择新建的元数据,点击【提交】按钮,提交后的元数据为审核状态,已审核的元数据才能被引用。
七、维护数据映射
由于异构系统间数据结构存在差异,在从第三方系统抽取数据时,需要建立数据源字段与目标数据库字段间的映射关系,并对这种映射关系进行管理。
1、进入【制造云】-【运营大脑】-【基础管理】-【数据映射】列表界面,点击【新增】按钮,打开编辑界面。
2、选择创建好的元数据,系统自动带出字段映射信息,设置取数规则,输入其他信息,点击【保存】,完成数据映射的新增。
全量取数:不允许设置过滤条件,全量抽取源表数据。
增量取数:设置过滤,根据过滤条件抽取源表数据。
3、候选键,暂时不用。
八、数据抽取
运营大脑平台依赖第三方系统的数据,通过定义的数据源,指定需要抽取的数据,并在运营大脑本地存储,对于数据库连接方式的数据源,指定表数据进行抽取,可以设置抽取条件、定时抽取、增量/全量抽取。
1、进入【制造云】-【运营大脑】-【基础管理】-【数据抽取】列表界面,点击【新增】按钮,打开编辑界面。
2、输入编码、名称、开始时间、过期时间,选择已经创建好的数据映射,设置执行计划(即定时任务设置),点击【保存】,完成数据抽取任务的新增。
3、点击【启用】,启用该数据抽取任务。
4、数据抽取,这一步成功后,就完成整个数据抽取的流程,数据抽取分两种执行方式:
第一、手工执行,点击【立即执行】,即时启动进行数据抽取,可以监控数据抽取进度。
第二、定时任务,设计好执行计划后,定时启动任务进行数据抽取。
5、查看结果及日志:数据抽取完成后,可以查看执行结果及日志;进入【集成服务云】-【集成管理】-【数据集成】-【数据集成监控】-【执行结果】列表,查看执行结果。
执行结果界面,选择对应的数据抽取方案,点击【日志】按钮,查看该方案的执行日志。
进入【集成服务云】-【集成管理】-【数据集成】-【数据集成监控】-【执行日志】列表,也可以查看对应的日志,可以通过过滤返回某一个方案的执行日志。
运营大脑-数据抽取操作指南
本文2024-09-23 00:04:33发表“云星瀚知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-xinghan-137139.html