在多云时代,企业正处于数据爆炸和数字化转型的交汇点。随着业务逐渐转移到云端,企业必须集成来自多个渠道的大量数据, 并完成各业务系统之间的复杂协同。但面对如此复杂且大量的数据集成场景,仅靠传统ETL工具已经很难满足企业需求。
为此,集成服务云基于流式数据处理、可视化编排、资源解耦等思想,推出了新一代企业级数据集成产品——数据流。
让我们通过一个简单的demo案例来一睹它的芳容吧~
适用版本
金蝶云·苍穹V6.0.1及以上
数据流功能简介
我们借鉴了数据集成方案流式数据处理的高性能,服务流程可视化编排的敏捷性,针对企业级大数据复杂集成场景推出了新一代的数据集成产品——数据流。
数据流能够通过流式数据读取,源源不断地将外部系统的数据读取到工作区当中。后台运行引擎为工作区中的每条数据分配一个线程运行数据流任务,从而达到多个数据流任务并行运行的目的。

基于全新的数据流设计器,用户可以通过拖拉拽对数据流任务进行编排,以满足各种复杂业务场景。

同时,数据流提供了近30种数据流资源,以满足各种业务场景。

场景示例
此处以苍穹集成服务云的基础资料demo1同步数据到基础资料demo2为例进行讲解。

1、创建资源路径
数据流的资源通过不同的存储路径进行分类管理,在创建数据流资源前请务必规划好整体的分类方案。
通常建议根据以下规则进行分类:
- 在数据流资源左树的连接器下创建资源目录,该目录必须创建三层,通常为行业、系统、模块,用来存放和特定系统相关的数据流资源。

• 在数据流资源左树的数据流方案下创建资源目录,该目录必须创建两层,通常为集成场景概述、集成场景详细说明,用来存放和业务场景相关的数据流资源。

2、创建数据流资源
1. 创建数据模型:在数据流资源列表左树选中演示数据后点击“集成对象导入”,搜索并导入基础资料demo1和基础资料demo2。


2. 创建数据查询组件:点击“新增”,选择数据查询,并选择刚才创建的基础资料demo1。点击“查询条件参数”,选择预置的时间范围参数作为入参结构,参考下图配置过滤条件,并点击“自动填充”。

3. 创建人工启动事件模型:选择刚才创建的数据查询组件作为数据提供者,创建事件模型。

4. 创建字段映射:源和目标数据模型分别选择基础资料demo1和基础资料demo2,并点击“自动映射”。

5. 数据加载:选择基础资料demo2作为目标实体,点击“字段填充”,选择之前创建的映射组件自动将映射的目标字段作为加载字段。

3、创建数据流图
点击“新增”创建数据流图,填写数据流图的属性信息,并新增一个当前账套的外部系统声明。

参考下图配置数据流图的事件节点、转