实践案例|从“NC&EAS”到“星瀚”:揭秘百万数据集成的高效策略
某客户在组织重组后,决心打造以苍穹平台为技术底座的数智化平台,将原使用10年的NC及EAS上的业务数据,迁移整合至星瀚。
在确保数据准确性与系统稳定性的同时,项目组也高效地完成了相关数据的迁移与集成工作,本期文章便带你深入了解他们的成功之道!
案例撰稿人:李旭龙
业务背景
S集团重组整合原JT集团(用友老客户,NC)和TT集团(金蝶老客户,EAS),所属各级全资和控股企业500余家,业务遍及30多个国家和地区,员工5.5万余人。
自22年起,S集团财务共享中心开始推进数字化转型,决定以苍穹平台为技术底座,上线新的财务共享系统,力争通过 3-5 年分步实施,打造成为集团数智化平台,因此需要对原有系统的历史业务数据进行迁移和整合。
1. 客户痛点
集团原NC系统和EAS系统使用时长超10年,使用组织超500家,因使用周期长、组织多,导致历史业务单据量积累大。
据统计,S集团共有11个数据中心(包括NC系统8个、EAS系统3个),凭证416万+,固定资产资产卡片13.4万+,报表4万+,这些数据需全部进行数据处理及迁移(导出、清洗、转换、导入),处理工作量巨大、数据可靠性不足、迁移耗时长。
2. 客户期望
客户希望在确保数据集成准确、可靠的基础上,能够高性能、高效率地完成数据迁移工作,且迁移后的数据支持在星瀚系统中进行正常的使用管理。
解决方案
整体迁移策略如下:NC总账、NC固定资产模块采用了星瀚系统的集成方案进行处理,与NC系统进行数据库直连,通过获取NC数据、匹配星瀚业务单据所需字段的方式,进行数据集成。EAS报表模块二开集成小工具,使用系统引入引出功能将报表数据落地到星瀚系统。
NC迁移方案
1. 解决思路
NC总账、NC固定资产业务型数据需要预先集成双方系统的基础资料内容,基础资料与业务单据采用集成云的集成方案进行数据集成,大数据量的业务单据采用分批处理的方式进行集成。
2. 方案实现步骤
(1)连接配置
首先,在“集成管理>连接管理>连接配置”中进行连接配置,新增Oracle连接。如下图:
(2)数据源管理
在“集成服务云>集成管理>连接管理>数据源管理”中,新增连接类型对应的数据源。如下图:
(3)集成对象
在“集成管理>集成元数据>集成对象”中,新增视图类型集成对象,通过视图取数的方式,获取NC数据源所需要的数据对象。
(4)基础资料集成
在“集成管理>数据集成>集成方案"中,编制基础资料的集成方案,进行基础资料数据的集成。
(5)凭证集成方案
在“集成管理>数据集成>集成方案”中,编制凭证集成方案。如下图:
(6)服务流程
在“集成管理>服务编排>服务流程”中,编制凭证服务流程。如下图:
对于大数据量的凭证集成,为了加快集成速度,需要采用多任务+小批量的方式执行,这里通过服务流程对凭证集成进行分批处理。
在凭证服务流程中,将源数据进行分批处理。执行完一批凭证数据后再执行下一批数据,待全部批次数据执行完成后,结束服务流程,完成凭证数据的集成。
使用服务流程分批执行,不仅可以通过集成日志直观地看到系统执行的情况,也可以查看到每一单凭证执行的情况。
(7)固定资产元数据
在系统标品中,固定资产元数据与很多业务存在关联,我们无法直接集成第三方系统数据的关联关系,所以方案选择重新二开固定资产类单据,用于承接第三方固定资产数据。
(8)固定资产集成方案
在“集成管理>数据集成>集成方案”中,编制资产集成方案。如下图:
EAS迁移方案
1. 解决思路
EAS报表采用了二开报表导入小工具的方式。从源系统中导出报表数据进行格式调整后,使用报表小工具导入星瀚系统,生成报表数据中间表,二开新建基础资料,存储报表与数据的关联关系,在系统报表查询中重新绑定取数逻辑,从二开基础资料中进行取数查询。
2. 方案实现步骤
(1)报表数据导出
在EAS系统中导出需要集成的报表数据,按照模板对报表数据进行转化。
(2)报表导入工具开发
二开报表导入工具,通过转化直接将导出的报表数据引入到星瀚系统中生成报表中间表,星瀚系统合并报表可以通过中间进行取数查询。
方案优化点
1. 集成对象
采用数据源直连数据库的方式,能够以视图形式将NC的多表数据构建成元数据格式,减少在集成过程中多次进行一张单据的集成的情况,同时可以通过增加索引等方式,优化视图取数性能,减少在取数上消耗的时间,优化性能。
2. 值转换规则
优化值转换规则,在规则中选择缓存转换结果,减少值转换时数据库的访问次数。
3. 服务流程
大数据量集成通过服务流程分批处理,能够减轻每批数据对性能的消耗,同时又能记录所有集成日志,方便查看数据集成的情况。
4. 固定资产卡片
二开财务卡片、变更、折旧等固定资产相关单据,承接NC系统的固定资产数据,剥离整体业务上的业务逻辑。根据二开单据间的业务逻辑进行处理,减少迁移后的数据影响问题。
5. 报表工具
通过引入方式,将报表数据存储到中间表中,二开基础资料处理报表数据与报表的关系,二开处理报表查询的逻辑,从二开基础资料中获取报表与报表数据的关联关系进行数据查询。
方案实现效果
根据上述步骤,数据集成的效率与系统的稳定性有明显提升,性能优化效果远超期望值,集成的数据准确性、可靠性也超出了客户预期。
方案的可推广价值
1. 行业普适程度
很多集团型客户,在引入星瀚系统之前,都有大量的历史凭证数据,如曾使用NC系统(V6.5版本)。此方案适用于同类型项目,能够高性能、准确、可靠地完成历史数据集成的工作。
2. 对客户的价值
(1)系统性能稳定,数据迁移后可以在星瀚系统中查询操作。
(2)多账套一个方案,迁移方案可以快速适配集成其他账套数据。
(3)无人值守集成,可以在执行完成后检查日志,查看分析集成情况。
注意事项
1. 在服务编排中,分批处理数据,每批数据的数据量不能过大,单批次数据量过大会影响系统性能和集成的稳定性。
2. 大批量数据集成前,先抽取小范围内数据进行测试,测试数据通过后,再分批全量集成。
3. 值转换规则,建议根据业务需求使用缓存进行优化。
#往期推荐
更多精彩内容,“码”上了解!↓
实践案例|从“NC&EAS”到“星瀚”:揭秘百万数据集成的高效策略
本文2024-09-23 00:48:19发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-141849.html