在数字化时代，企业面临着大量“数据处理”的挑战，特别是如何高效地同步海量数据到目标数据库。性能瓶颈和资源限制常常让技术团队头疼。

本文将介绍一种高效的大数据批量入库解决方案，助您轻松跨越数据同步的难关。

适用版本

金蝶云·苍穹V6.0.1及以上

解决方案

采用【集成服务云】→【数据流】方案进行大数据量分批入库，通过脚本批量加载节点直接写入目标数据表，从而提高数据同步效率并减少性能瓶颈。

方案详情:

接下来，以查询基础资料demo1的单头数据，使用脚本批量加载直接写入基础资料demo2数据表为例，介绍方案的关键步骤。

注：使用该方案前，应对数据流有基本认识，且学习过数据流入门案例。

数据流介绍：企业集成新策略“数据流”，轻松应对大数据复杂集成！

数据流入门案例：https://vip.kingdee.com/link/s/l3Rhj

步骤一：准备工作

1. 创建连接配置和连接器。

因为该示例源和目标都是当前账套，因此创建一个当前账套的连接配置和连接器即可：

图 1 - 连接配置

图 2 - 连接器

2. 同步集成对象：在集成管理模块同步好源和目标集成对象。

图 3 - 集成对象

3. 创建连接器目录和数据流方案目录

连接器目录按照行业、系统、模块三层创建：

图 4 -  资源方案目录

 数据流方案目录按照集成场景概述、集成场景详细说明两层创建：

步骤二：创建资源

1. 通过集成对象导入，创建源和目标对象数据模型。该示例源对象以实体取数，目标对象以数据表写数。在连接器目录下创建。

图 5 - 集成对象导入生成数据流资源

2. 创建数据查询组件。在连接器目录下新增数据查询组件，查询对象选择前面创建的源对象数据模型，如果需要过滤数据也可以配置查询条件参数和过滤条件。

图 6 - 源对象数据模型：实体查询

3. 创建事件模型

在连接器目录下新增人工启动事件模型，数据提供者选择上一步创建的数据查询组件。也可以根据需要选择定时启动、单据事件、MQ等事件模型。

4. 创建字段映射组件

在数据流方案目录下创建字段映射组件，源数据和目标数据分别选择前面配置的数据模型，先自动映射对应关系，再根据需要检查修改。

图 7 - 批量脚本加载

5. 创建数据加载组件

在连接器目录下新增脚本批量加载组件，目标单数据选择前面配置的目标数据模型，配置好批量大小。

步骤三：配置数据流程

1. 创建数据流图。在数据流方案目录下创建一个数据流组件：

图 8 - 数据流资源类型

2. 编排数据流资源

开始配置流程属性时在外部系统声明中把需要用到的连接类型引入。每个节点选择上前面步骤配置的组件，分别是事件模型、字段映射、脚本批量加载。另外每个节点都需配置好来源系统或目标系统是哪个连接器：

图 9 - 数据流图

3. 创建数据流启动方案

步骤四：运行结果查看

执行数据流启动方案并查看数据同步结果。

方案价值

• 性能优化: 分批数据处理显著减少了内存溢出（OOM）的风险。

• 数据同步效率提升: 利用流式数据集成技术，大幅度提升了数据同步的速度和效率。

• 易于管理和维护: 通过可视化配置的方案，使得数据同步过程更加清晰，便于管理和维护。

常见问题

Q: 该方案如何保证数据质量？

A: 使用此方案时，数据质量依赖于源系统的数据质量，如需实施错误处理和数据校验机制，需要自行配置可相应的检查节点进行数据处理来保证数据的一致性。

更多精彩内容，“码”上了解！↓