实践案例 | 服务流程,大数据量集成好帮手

小编推荐
客户内部有多个异构系统,需要获取第三方数据库的考勤数据集成至星瀚HR。但底表数据量近百万,标准API处理效率无法满足需求。对此,如何解决呢?
本期实践案例给你提供思路!通过服务流程满足大数据量的高效集成需求,且配备异常补偿措施,保障数据集成准确性。
案例撰稿人:王德。
业务背景
客户使用星瀚作为主要HR业务系统,同时也使用多个异构系统开展业务。基于业务需求,客户需要将星瀚直连第三方数据库,查询数据库获取考勤数据集成至星瀚HR。
客户底表数据量近百万,每天增量数据数千条,而星瀚系统的标准API单次处理上限1000笔,无法保障数据集成的效率。因此,客户需要提供相应的解决方案来满足大数据量集成的需求,提高集成的效率,且当数据集成出现异常时,有相应的补救措施。
解决方案
方案整体思路
方案一:初始化数据集成方案
使用数据集成方案,将第三方表数据集成至星瀚二开实体表(中间表),再通过服务流程定时获取星瀚二开表数据(中间表),并在服务流程脚本中调用标准API将数据写入星瀚考勤系统。
方案二:增量数据集成方案
通过服务流程直连第三方数据的方式,编写脚本对表进行查询来获取数据,再调用标准API写入星瀚考勤系统。
说明:两个方案二选一即可,可根据方案说明优缺点自行选择。
方案关键实现步骤
方案一:初始化数据集成方案
1、二开单据(或直接创建表),表字段对应第三方SQL查询字段,如下图所示:

星瀚二开单据设计
2、集成对象配置:集成对象类型选择视图,视图配置查询第三方数据库SQL,如下图所示:

集成对象(视图)配置
3、集成对象配置:集成对象类型选择实体为星瀚系统实体对象,数据表选择二开或脚本创建的表,如下图所示:

集成对象(实体)配置
4、配置数据集成方案,并创建启动方案,将第三方系统数据集成至二开单据(中间表) 。如下图所示,主要配置考勤集成字段映射,注意字段类型需对应。

数据集成方案配置
5、启动方案执行结果如下,第三方考勤数据已集成至星瀚系统。

启动方案执行结果
6、服务流程配置(详见增量数据集成方案)
配置方法可参考增量数据集成方案,但与增量数据集成方案的区别在于流程图中分页查询脚本,初始化为查询星瀚系统集成实体对象表,增加集成直连查询第三方数据库。也就是说,初始化方案是先将第三方的数据集成至星瀚对应的实体对象表,通过服务流程查星瀚系统的表获取数据再处理,而增量方案是直接查第三方系统数据库表,直连查询数据。
方案二:增量数据集成方案
1、服务流程-流程属性配置
在【集成管理】→【服务编排】→【服务流程】中配置流程图使用变量及依赖资源,如下图所示:


服务流程属性配置
2、服务流程编排
入参变量:用于控制获取全量或者特定时间段数据。
核心变量:PAGE_SIZE,PAGE_OFFSET,PAGE_ROWS 用于控制查询分页条数及循环查询控制,通过控制START_DATE,END_DATE 可获取指定时间段数据,配合分页变量可进行增量或全量数据获取。
节点说明:
a、编写分页查询获取二开单据表数据SQL语句,执行获取分页查询结果;
b、数据递增统计,单次查询数据条数赋值变
实践案例 | 服务流程,大数据量集成好帮手
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。



