在多云时代，企业正处于数据爆炸和数字化转型的交汇点。随着业务逐渐转移到云端，企业必须集成来自多个渠道的大量数据， 并完成各业务系统之间的复杂协同。但面对如此复杂且大量的数据集成场景，仅靠传统ETL工具已经很难满足企业需求。

为此，集成服务云基于流式数据处理、可视化编排、资源解耦等思想，推出了新一代企业级数据集成产品——数据流。

让我们通过一个简单的demo案例来一睹它的芳容吧~

---

适用版本

金蝶云·苍穹V6.0.1及以上

数据流功能简介

我们借鉴了数据集成方案流式数据处理的高性能，服务流程可视化编排的敏捷性，针对企业级大数据复杂集成场景推出了新一代的数据集成产品——数据流。

数据流能够通过流式数据读取，源源不断地将外部系统的数据读取到工作区当中。后台运行引擎为工作区中的每条数据分配一个线程运行数据流任务，从而达到多个数据流任务并行运行的目的。

基于全新的数据流设计器，用户可以通过拖拉拽对数据流任务进行编排，以满足各种复杂业务场景。

同时，数据流提供了近30种数据流资源，以满足各种业务场景。

场景示例

此处以苍穹集成服务云的基础资料demo1同步数据到基础资料demo2为例进行讲解。

1、创建资源路径

数据流的资源通过不同的存储路径进行分类管理，在创建数据流资源前请务必规划好整体的分类方案。

通常建议根据以下规则进行分类：

• 在数据流资源左树的连接器下创建资源目录，该目录必须创建三层，通常为行业、系统、模块，用来存放和特定系统相关的数据流资源。

• 在数据流资源左树的数据流方案下创建资源目录，该目录必须创建两层，通常为集成场景概述、集成场景详细说明，用来存放和业务场景相关的数据流资源。

2、创建数据流资源

1. 创建数据模型：在数据流资源列表左树选中演示数据后点击“集成对象导入”，搜索并导入基础资料demo1和基础资料demo2。

2. 创建数据查询组件：点击“新增”，选择数据查询，并选择刚才创建的基础资料demo1。

点击“查询条件参数”，选择预置的时间范围参数作为入参结构，参考下图配置过滤条件，并点击“自动填充”。

3. 创建人工启动事件模型：选择刚才创建的数据查询组件作为数据提供者，创建事件模型。

4. 创建字段映射：源和目标数据模型分别选择基础资料demo1和基础资料demo2，并点击“自动映射”。

5. 数据加载：选择基础资料demo2作为目标实体，点击“字段填充”，选择之前创建的映射组件自动将映射的目标字段作为加载字段。

3、创建数据流图

点击“新增”创建数据流图，填写数据流图的属性信息，并新增一个当前账套的外部系统声明。

参考下图配置数据流图的事件节点、转换节点、加载节点，并为每个节点绑定当前账套的连接器。

4、创建数据流启动方案

在【运行管理】->【启动方案】中点击“新增”，选择刚才创建的数据流，为其填充好入参，并绑定连接器。

执行启动方案后的运行逻辑如下，基础资料demo1的数据会源源不断地流向工作区，工作区中数据的行数总是不超过工作区大小300，同时后台任务引擎不断地为工作区中的数据分配线程运行（1条数据分配1个线程，不超过最大线程数3）。

亮点价值

• 基于数据流调度引擎，提供高性能流式处理；

• 通过数据流资源解耦，可视化编排复杂场景；

• 通过数据并行集成、数据分批处理，保障高性能集成。

常见问题

问：数据流作为集成服务云新一代的产品，它和之前的数据集成方案、服务流程的区别和联系是啥？

答：数据集成方案主要针对大数据量简单集成场景，如EAS费用申请单集成到星瀚。服务流程主要针对复杂集成场景，如电商销售订单同步到星瀚，并自动生成应收。

为了避免OOM，服务流程对每次运行的上下文做了大小限制，这意味着用户需要自己手工分批运行。而使用数据流时，用户基于流式数据处理自由编排各种组件，可以轻松应对大数据量复杂集成场景。

相关链接

数据流快速入门案例：https://vip.kingdee.com/article/520247917286964480

划重点

集成服务云全新推出企业级数据集成产品——数据流，可轻松应对大数据量复杂集成场景，使用步骤如下：

• 根据业务场景创建好数据流资源的分类。

• 自下而上依次创建数据模型、查询模型、事件模型、转换模型、加载模型。

• 在数据流图设计器中对数据流资源进行编排以满足业务场景。

• 创建数据流启动方案配置数据流入参等信息，并绑定连接器。