电脑桌面
添加蚂蚁七词文库到电脑桌面
安装后可以在桌面快捷访问

实践案例 | 服务流程,大数据量集成好帮手

来源:金蝶云社区作者:金蝶2024-09-235

实践案例 | 服务流程,大数据量集成好帮手

小编推荐

客户内部有多个异构系统,需要获取第三方数据库的考勤数据集成至星瀚HR。但底表数据量近百万,标准API处理效率无法满足需求。对此,如何解决呢?


本期实践案例给你提供思路!通过服务流程满足大数据量的高效集成需求,且配备异常补偿措施,保障数据集成准确性。


案例撰稿人:王德。



业务背景


客户使用星瀚作为主要HR业务系统,同时也使用多个异构系统开展业务。基于业务需求,客户需要将星瀚直连第三方数据库,查询数据库获取考勤数据集成至星瀚HR。


客户底表数据量近百万,每天增量数据数千条,而星瀚系统的标准API单次处理上限1000笔,无法保障数据集成的效率。因此,客户需要提供相应的解决方案来满足大数据量集成的需求,提高集成的效率,且当数据集成出现异常时,有相应的补救措施


解决方案

方案整体思路


方案一:初始化数据集成方案


使用数据集成方案,将第三方表数据集成至星瀚二开实体表(中间表),再通过服务流程定时获取星瀚二开表数据(中间表),并在服务流程脚本中调用标准API将数据写入星瀚考勤系统。


方案二:增量数据集成方案


通过服务流程直连第三方数据的方式,编写脚本对表进行查询来获取数据,再调用标准API写入星瀚考勤系统。

说明:两个方案二选一即可,可根据方案说明优缺点自行选择。


方案关键实现步骤


方案一:初始化数据集成方案


1、二开单据(或直接创建表),表字段对应第三方SQL查询字段,如下图所示:


上传图片

星瀚二开单据设计


2、集成对象配置:集成对象类型选择视图,视图配置查询第三方数据库SQL,如下图所示:


上传图片

集成对象(视图)配置


3、集成对象配置:集成对象类型选择实体为星瀚系统实体对象,数据表选择二开或脚本创建的表,如下图所示:


上传图片

集成对象(实体)配置


4、配置数据集成方案,并创建启动方案,将第三方系统数据集成至二开单据(中间表) 。如下图所示,主要配置考勤集成字段映射,注意字段类型需对应。


上传图片

数据集成方案配置


5、启动方案执行结果如下,第三方考勤数据已集成至星瀚系统。


上传图片

启动方案执行结果


6、服务流程配置(详见增量数据集成方案)


配置方法可参考增量数据集成方案,但与增量数据集成方案的区别在于流程图中分页查询脚本,初始化为查询星瀚系统集成实体对象表,增加集成直连查询第三方数据库。也就是说,初始化方案是先将第三方的数据集成至星瀚对应的实体对象表,通过服务流程查星瀚系统的表获取数据再处理,而增量方案是直接查第三方系统数据库表,直连查询数据


方案二:增量数据集成方案


1、服务流程-流程属性配置

在【集成管理】→【服务编排】→【服务流程】中配置流程图使用变量及依赖资源,如下图所示:


上传图片

上传图片

服务流程属性配置


2、服务流程编排


入参变量:用于控制获取全量或者特定时间段数据。

核心变量:PAGE_SIZE,PAGE_OFFSET,PAGE_ROWS 用于控制查询分页条数及循环查询控制,通过控制START_DATE,END_DATE 可获取指定时间段数据,配合分页变量可进行增量或全量数据获取。

节点说明

a、编写分页查询获取二开单据表数据SQL语句,执行获取分页查询结果;

b、数据递增统计,单次查询数据条数赋值变

实践案例 | 服务流程,大数据量集成好帮手

小编推荐客户内部有多个异构系统,需要获取第三方数据库的考勤数据集成至星瀚HR。但底表数据量近百万,标准API处理效率无法满足需求。对此...
点击下载文档文档为doc格式

声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。

确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息
QQ群
  • 答案:my7c点击这里加入QQ群
支持邮箱
微信
  • 微信