高效批量入库方案，轻松解决数据同步难题！

在数字化时代，企业面临着大量“数据处理”的挑战，特别是如何高效地同步海量数据到目标数据库。性能瓶颈和资源限制常常让技术团队头疼。

本文将介绍一种高效的大数据批量入库解决方案，助您轻松跨越数据同步的难关。

适用版本

金蝶云·苍穹V6.0.1及以上

解决方案

采用【集成服务云】→【数据流】方案进行大数据量分批入库，通过脚本批量加载节点直接写入目标数据表，从而提高数据同步效率并减少性能瓶颈。

方案详情:

接下来，以查询基础资料demo1的单头数据，使用脚本批量加载直接写入基础资料demo2数据表为例，介绍方案的关键步骤。

注：使用该方案前，应对数据流有基本认识，且学习过数据流入门案例。

数据流介绍：企业集成新策略“数据流”，轻松应对大数据复杂集成！

数据流入门案例：https://vip.kingdee.com/link/s/l3Rhj

步骤一：准备工作

1. 创建连接配置和连接器。

因为该示例源和目标都是当前账套，因此创建一个当前账套的连接配置和连接器即可：

图 1 - 连接配置

图 2 - 连接器

2. 同步集成对象：在集成管理模块同步好源和目标集成对象。

图 3 - 集成对象

3. 创建连接器目录和数据流方案目录

连接器目录按照行业、系统、模块三层创建：

图 4 -  资源方案目录

 数据流方案目录按照集成场景概述、集成场景详细说明两层创建：

步骤二：创建资源

1. 通过集成对象导入，创建源和目标对象数据模型。该示例源对象以实体取数，目标对象以数据表写数。在连接器目录下创建。

图 5 - 集成对象导入生成数据流资源

2. 创建数据查询组件。在连接器目录下新增数据查询组件，查询对象选择前面创建的源对象数据模型，如果需要过滤数据也可以配置查询条件参数和过滤条件。

图 6 - 源对象数据模型：实体查询

3. 创建事件模型

在连接器目录下新增人工启动事件模型，数据提供者选择上一步创建的数据查询组件。也可以根据需要选择定时启动、单据事件、MQ等事件模型。

4. 创建字段映射组件

在数据流方案目录下创建字段映射组件，源数据和目标数据分别选择前面配置的数据模型，先自动映射对应关系，再根据需要检查修改。

图 7 - 批量