实践案例|从“NC&EAS”到“星瀚”:揭秘百万数据集成的高效策略

栏目:云苍穹知识作者:金蝶来源:金蝶云社区发布:2024-09-23浏览:1

实践案例|从“NC&EAS”到“星瀚”:揭秘百万数据集成的高效策略

某客户在组织重组后,决心打造以苍穹平台为技术底座的数智化平台,将原使用10年的NC及EAS上的业务数据,迁移整合至星瀚


在确保数据准确性与系统稳定性的同时,项目组也高效地完成了相关数据的迁移与集成工作,本期文章便带你深入了解他们的成功之道!


案例撰稿人:李旭龙



业务背景

S集团重组整合原JT集团(用友老客户,NC)和TT集团(金蝶老客户,EAS),所属各级全资和控股企业500余家,业务遍及30多个国家和地区,员工5.5万余人。 


自22年起,S集团财务共享中心开始推进数字化转型,决定以苍穹平台为技术底座,上线新的财务共享系统,力争通过 3-5 年分步实施,打造成为集团数智化平台,因此需要对原有系统的历史业务数据进行迁移和整合。


1. 客户痛点


集团原NC系统和EAS系统使用时长超10年,使用组织超500家,因使用周期长、组织多,导致历史业务单据量积累大


据统计,S集团共有11个数据中心(包括NC系统8个、EAS系统3个),凭证416万+,固定资产资产卡片13.4万+,报表4万+,这些数据需全部进行数据处理及迁移(导出、清洗、转换、导入),处理工作量巨大、数据可靠性不足、迁移耗时长。


2. 客户期望


客户希望在确保数据集成准确、可靠的基础上,能够高性能、高效率地完成数据迁移工作,且迁移后的数据支持在星瀚系统中进行正常的使用管理。


解决方案


整体迁移策略如下:NC总账、NC固定资产模块采用了星瀚系统的集成方案进行处理,与NC系统进行数据库直连,通过获取NC数据、匹配星瀚业务单据所需字段的方式,进行数据集成。EAS报表模块二开集成小工具,使用系统引入引出功能将报表数据落地到星瀚系统。


上传图片


NC迁移方案


1. 解决思路


NC总账、NC固定资产业务型数据需要预先集成双方系统的基础资料内容,基础资料与业务单据采用集成云的集成方案进行数据集成,大数据量的业务单据采用分批处理的方式进行集成。


上传图片


2. 方案实现步骤


(1)连接配置


首先,在“集成管理>连接管理>连接配置”中进行连接配置,新增Oracle连接。如下图:


上传图片


(2)数据源管理


在“集成服务云>集成管理>连接管理>数据源管理”中,新增连接类型对应的数据源。如下图:


上传图片


(3)集成对象


在“集成管理>集成元数据>集成对象”中,新增视图类型集成对象,通过视图取数的方式,获取NC数据源所需要的数据对象。


上传图片


(4)基础资料集成


在“集成管理>数据集成>集成方案"中,编制基础资料的集成方案,进行基础资料数据的集成。


上传图片


(5)凭证集成方案


在“集成管理>数据集成>集成方案”中,编制凭证集成方案。如下图:


上传图片


(6)服务流程


在“集成管理>服务编排>服务流程”中,编制凭证服务流程。如下图:


上传图片

上传图片

上传图片


对于大数据量的凭证集成,为了加快集成速度,需要采用多任务+小批量的方式执行,这里通过服务流程对凭证集成进行分批处理。


上传图片


在凭证服务流程中,将源数据进行分批处理。执行完一批凭证数据后再执行下一批数据,待全部批次数据执行完成后,结束服务流程,完成凭证数据的集成。


使用服务流程分批执行,不仅可以通过集成日志直观地看到系统执行的情况,也可以查看到每一单凭证执行的情况。


(7)固定资产元数据


在系统标品中,固定资产元数据与很多业务存在关联,我们无法直接集成第三方系统数据的关联关系,所以方案选择重新二开固定资产类单据,用于承接第三方固定资产数据。


上传图片


(8)固定资产集成方案


在“集成管理>数据集成>集成方案”中,编制资产集成方案。如下图:


上传图片

上传图片


EAS迁移方案


1. 解决思路


EAS报表采用了二开报表导入小工具的方式。从源系统中导出报表数据进行格式调整后,使用报表小工具导入星瀚系统,生成报表数据中间表,二开新建基础资料,存储报表与数据的关联关系,在系统报表查询中重新绑定取数逻辑,从二开基础资料中进行取数查询


上传图片


2. 方案实现步骤


(1)报表数据导出


在EAS系统中导出需要集成的报表数据,按照模板对报表数据进行转化。


(2)报表导入工具开发


二开报表导入工具,通过转化直接将导出的报表数据引入到星瀚系统中生成报表中间表,星瀚系统合并报表可以通过中间进行取数查询。


上传图片


方案优化点


1. 集成对象


采用数据源直连数据库的方式,能够以视图形式将NC的多表数据构建成元数据格式,减少在集成过程中多次进行一张单据的集成的情况,同时可以通过增加索引等方式,优化视图取数性能,减少在取数上消耗的时间,优化性能。


2. 值转换规则


优化值转换规则,在规则中选择缓存转换结果,减少值转换时数据库的访问次数。


3. 服务流程


大数据量集成通过服务流程分批处理,能够减轻每批数据对性能的消耗,同时又能记录所有集成日志,方便查看数据集成的情况。


4. 固定资产卡片


二开财务卡片、变更、折旧等固定资产相关单据,承接NC系统的固定资产数据,剥离整体业务上的业务逻辑。根据二开单据间的业务逻辑进行处理,减少迁移后的数据影响问题。


5. 报表工具


通过引入方式,将报表数据存储到中间表中,二开基础资料处理报表数据与报表的关系,二开处理报表查询的逻辑,从二开基础资料中获取报表与报表数据的关联关系进行数据查询。


方案实现效果


根据上述步骤,数据集成的效率与系统的稳定性有明显提升,性能优化效果远超期望值,集成的数据准确性、可靠性也超出了客户预期。


方案的可推广价值


1. 行业普适程度


很多集团型客户,在引入星瀚系统之前,都有大量的历史凭证数据,如曾使用NC系统(V6.5版本)。此方案适用于同类型项目,能够高性能、准确、可靠地完成历史数据集成的工作。


2. 对客户的价值


(1)系统性能稳定,数据迁移后可以在星瀚系统中查询操作。

(2)多账套一个方案,迁移方案可以快速适配集成其他账套数据。

(3)无人值守集成,可以在执行完成后检查日志,查看分析集成情况。


注意事项


1. 在服务编排中,分批处理数据,每批数据的数据量不能过大,单批次数据量过大会影响系统性能和集成的稳定性。

2. 大批量数据集成前,先抽取小范围内数据进行测试,测试数据通过后,再分批全量集成。

3. 值转换规则,建议根据业务需求使用缓存进行优化。




#往期推荐

实践案例 | 服务流程,大数据量集成好帮手

实践案例 | 高性能亿级数据集成方案,又快又准确!

集成数据流:简单配置,数据快速分发

企业集成新策略“数据流”,轻松应对大数据复杂集成!


更多精彩内容,“码”上了解!↓

上传图片

实践案例|从“NC&EAS”到“星瀚”:揭秘百万数据集成的高效策略

某客户在组织重组后,决心打造以苍穹平台为技术底座的数智化平台,将原使用10年的NC及EAS上的业务数据,迁移整合至星瀚。在确保数据准确性...
点击下载文档
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息