实践案例 | 服务流程,大数据量集成好帮手
小编推荐
客户内部有多个异构系统,需要获取第三方数据库的考勤数据集成至星瀚HR。但底表数据量近百万,标准API处理效率无法满足需求。对此,如何解决呢?
本期实践案例给你提供思路!通过服务流程满足大数据量的高效集成需求,且配备异常补偿措施,保障数据集成准确性。
案例撰稿人:王德。
业务背景
客户使用星瀚作为主要HR业务系统,同时也使用多个异构系统开展业务。基于业务需求,客户需要将星瀚直连第三方数据库,查询数据库获取考勤数据集成至星瀚HR。
客户底表数据量近百万,每天增量数据数千条,而星瀚系统的标准API单次处理上限1000笔,无法保障数据集成的效率。因此,客户需要提供相应的解决方案来满足大数据量集成的需求,提高集成的效率,且当数据集成出现异常时,有相应的补救措施。
解决方案
方案整体思路
方案一:初始化数据集成方案
使用数据集成方案,将第三方表数据集成至星瀚二开实体表(中间表),再通过服务流程定时获取星瀚二开表数据(中间表),并在服务流程脚本中调用标准API将数据写入星瀚考勤系统。
方案二:增量数据集成方案
通过服务流程直连第三方数据的方式,编写脚本对表进行查询来获取数据,再调用标准API写入星瀚考勤系统。
说明:两个方案二选一即可,可根据方案说明优缺点自行选择。
方案关键实现步骤
方案一:初始化数据集成方案
1、二开单据(或直接创建表),表字段对应第三方SQL查询字段,如下图所示:
星瀚二开单据设计
2、集成对象配置:集成对象类型选择视图,视图配置查询第三方数据库SQL,如下图所示:
集成对象(视图)配置
3、集成对象配置:集成对象类型选择实体为星瀚系统实体对象,数据表选择二开或脚本创建的表,如下图所示:
集成对象(实体)配置
4、配置数据集成方案,并创建启动方案,将第三方系统数据集成至二开单据(中间表) 。如下图所示,主要配置考勤集成字段映射,注意字段类型需对应。
数据集成方案配置
5、启动方案执行结果如下,第三方考勤数据已集成至星瀚系统。
启动方案执行结果
6、服务流程配置(详见增量数据集成方案)
配置方法可参考增量数据集成方案,但与增量数据集成方案的区别在于流程图中分页查询脚本,初始化为查询星瀚系统集成实体对象表,增加集成直连查询第三方数据库。也就是说,初始化方案是先将第三方的数据集成至星瀚对应的实体对象表,通过服务流程查星瀚系统的表获取数据再处理,而增量方案是直接查第三方系统数据库表,直连查询数据。
方案二:增量数据集成方案
1、服务流程-流程属性配置
在【集成管理】→【服务编排】→【服务流程】中配置流程图使用变量及依赖资源,如下图所示:
服务流程属性配置
2、服务流程编排
入参变量:用于控制获取全量或者特定时间段数据。
核心变量:PAGE_SIZE,PAGE_OFFSET,PAGE_ROWS 用于控制查询分页条数及循环查询控制,通过控制START_DATE,END_DATE 可获取指定时间段数据,配合分页变量可进行增量或全量数据获取。
节点说明:
a、编写分页查询获取二开单据表数据SQL语句,执行获取分页查询结果;
b、数据递增统计,单次查询数据条数赋值变量PAGE_ROWS;
c、脚本处理组装标准API结构报文,判断获取数据PAGE_ROWS与设置分页条数PAGE_SIZE进行PAGE_OFFSET(分页查询起始行号) 递增处理,继续执行下一次循环。
服务流程-流程图配置
服务流程-分页查询节点配置
服务流程-拼接API入参报文
服务流程-开放平台API调用
服务流程运行实例
方案说明
采用初始化数据方案、增量数据方案满足现场的大数据量数据同步、一定时间内数据同步的功能需求。两种方案各有优势,具体项目可根据实际情况进行方案选择:
初始化数据方案优点:数据集成方案配置方便、上手快,方案执行时效率高、日志全、可批量处理、多线程。
增量数据方案优点:直接查询数据库数据,减少了二开工作量,但流程变量记录的数据有限。
异常补偿
当出现网络异常等不可控因素,导致数据未通过服务流程正常获取时,采用异常补偿方式重新集成指定时间段数据,详细解决方案如下:
1、开发带入参的服务流程,通过动态入参查询指定时间段数据,再调标准API写入星瀚系统。
2、二开单据,字段设定为服务流程入参,由单据录入参数,在审核完成后异步调用服务流程进行补偿集成。相关代码示例如下:
方案的复用价值
1、通过数据集成方案可对数据进行初始化集成。
2、服务流程可通过控制参数的方式对数据者增量集成。
3、服务流程可通过单据插件触发,单据界面参数可拼接组装服务流程动态参数,进行指定数据获取,达到异常数据缺失补偿的目的。
4、直连或调用第三方接口获取数据的开发,均可使用类似的服务流程进行实现(增量数据集成可采用直连方案,初始化可采用先全量集成星瀚实体后再使用服务流程获取数据进行处理,从而实现第三方系统数据与星瀚集成目的,且第三方无开发工作量)。
#往期推荐#
更多精彩内容,“码”上了解!↓
实践案例 | 服务流程,大数据量集成好帮手
本文2024-09-23 00:50:19发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-142061.html