变更记录

1 简介

1.1 功能介绍

数据集成方案：

其功能主要针对数据集成场景设计，高度利用集成对象的优势，通过可视化配置就可以完成一个简单的数据集成方案。该方案主要针对数据复制和数据集成两种场景进行设计。

集成原理：

• JDBC集成：集成服务云提供了苍穹与数据库直连的方式集成，通过JDBC连接器可以直接访问第三方环境的数据库。同时集成服务云还提供了通过数据库代理实现2个系统的集成。代理部署在能够访问到客户数据库环境中，通过JDBC直连和数据库相连，代理再与集成云平台通过WebAPI接口连通。
  

• 实体集成：通过苍穹远端连接器、EAS连接器（部署在远端系统），可以实现当前账套与EAS系统、远端苍穹的双向通讯。集成云可以同步苍穹、EAS的元数内容，包括实体、枚举对象、数据表等，并基于元数据体系实现业务数据的读取和写入功能，实现快速集成。
  

1.2 应用场景

数据复制：集成对象为数据库表，基本不用或极少量的数据转换，实现高性能的数据拷贝。

数据集成：集成对象可以是表、实体或者数据结构，需要复杂的数据转换设计，才能完成集成。这种方式性能会有损耗，无法实现高效同步。

1.3 系统路径

【集成管理】→【数据集成】→【数据集成方案】

1.4 字段/按钮说明

字段说明：

按钮说明：

2 主要操作

2.1 数据集成方案新增

步骤1：请进入数据集成方案列表，点击"新增"按钮

步骤2：输入数据集成方案基本信息

步骤3：选择源对象、目标对象：选择已同步的集成元数据，支持表-表、表-实体、实体-表、实体-实体的同步

步骤4：选择模式：支持单个事务、错误时中止、错误时忽略

• 单个事务：数据集成执行时如果发生错误则回滚已同步数据，仅适用于直连数据库的数据集成

• 错误时中止：数据集成执行时如果发生异常则立即停止，并记录日志

• 错误时忽略：数据集成执行时如果发生异常仅记录日志，并继续执行后续数据的同步

步骤5：填写编码、名称：自动生成可以修改

步骤6：点击自动映射，选择源、目标对象后，可以点击自动映射，系统会按照字段名称系统自动匹配。

注意：自动映射会覆盖之前的映射，请慎重操作

步骤7：刷新字段描述，字段描述为空时可以点击该按钮更新字段描述

步骤8：字段映射基本设置

• 是否候选键：数据集成方案选择哪个或者哪些字段作为方案的候选键（该字段将作为数据更新或新增的判断依据）

• 源对象字段：选择源与目标的属性映射关系（双击单元格选择字段）

• 直接赋值：输入常量值，或双击单元格选择表达式进行填充
  

• 聚合运算：双击单元格选择内置的聚合运算表达式

  

  
  

• 值转换规则：对源单字段进行转换，配置值转换规则（比如源字段是基础资料的引用字段REF，需要通过转换规则找到目标系统引用基础资料的ID）

• 转换脚本：通过脚本编写相应处理逻辑，对转换后的字段进行后续处理

• 手动映射：双击源对象字段也可以手动匹配所需的源对象字段

  
  

2.2 其他高级配置

• 配置参数控制

• 记录单据集成日志：

  如果选中，则自动记录单据集成日志。使用场景：选中这个选项可以记录源单和目标单的集成日志，方便查询单据的集成情况，该日志在菜单“单据集成日志”可以查看（菜单路径：集成管理-集成监控-单据集成日志）

• 记录源单/目标单ID关联关系：

  如果选中，则自动记录源单/目标单ID关联关系。使用场景：选中这个选项可以记录通过集成服务云集成的所有单据ID的映射关系，该映射关系在菜单“单据ID映射表”可以查看（菜单路径：集成管理-数据集成-单据ID映射表）

• 附件同步：

  仅集成表单中包含附件时需要打开此开关，并且附件集成需要耗费流量，请谨慎使用

• 回写值转换规则：

  把源单和目标单的ID写到人工映射规则中，作为其他方案的转换规则

  
  

• 来源数据获取

• 方案参数：启动方案执行时，允许通过参数赋值来动态执行集成方案

• 过滤条件：针对源对象数据设置复杂的过滤条件：固定值、赋值函数、变量，逻辑连接符

• 排序设置：可针对源数据进行排序

• 目标数据处理

• 操作列表：

  一般情况下，默认不配置，集成方案默认采用目标对象（表或实体）的标准保存方法

  若保存方法不满足，则可以配置目标对象的操作方法。如果配置多个，则系统会按照顺序依次执行。并且，支持通过json配置操作参数。

  同时，数据库新增加支持批量的UPSERT操作，通过UPSERT操作，可以规避由于多个线程并行执行时，会存在重复插入数据或唯一约束报错的问题，并且能够提高数据库写入数据时的性能，减少判断数据是否存在的耗时。

  注意：

  1、配置了upsert操作不允许再配置其他操作；

  2、运行期必须开启批量模式才允许使用upsert操作；

  3、目前支持mysql、pg、oracle、sqlserver、hana；

  4、upsert操作需要目标表必须有设置主键；

  5、upsert语法：mysql4.1版本以上才支持、Oracle 9i 以上版本才支持、SqlServer2008版本以上支持 、pg 9.5版本以上才支持。

• 操作参数辅助输入：

  双击操作参数输入框，进入操作参数编辑页面配置相应的操作参数。

  
  

• 代理用户：

  如果设置了代理用户，则目标系统将使用该用户的身份执行单据操作

• 数据处理：

  若实体上没有合适的操作，则可以通过写目标数据处理类的方式实现，处理类需参照标准接口实现。处理类的执行优先级高于操作列表，此外还可以使用目标数据处理脚本对转换后的源数据进行再次处理

• 关系映射：分录表和外键表都是用于扩展源单和目标单的数据，达到从多个集成对象取数或写数的目的

• 分录表：主单据/主数据表附加的列表结构，分录表引用主单据ID，并存在多行

• 外键表：主单据字段引用外键表主键ID，仅有一行。一般用于表/视图取数

  注意：分录的主数据表如果为源单，则从分录表取数；分录表的主数据表为目标单，则往目标单写数。（写分录表目前只支持目标单和分录表均为数据表的场景）

• 依赖资源：数据集成方案设计时，可引用自定义函数、外部API和WebAPI登记作为依赖资源，引用的资源别名，在数据集成方案的各处数据处理的脚本（包括字段映射中的转换脚本-、目标数据处理脚本、来源数据查询/处理脚本等）上下文中进行使用

• 层次结构：部分基础资料同步时有层次结构的要求，需要上级先同步过去，譬如：客户类别

  注：不建议使用该功能，层次结构的数据可以使用排序确保上下级，并用值转换规则对应上级字段关系

2.3资源引用关系

选中对应的集成方案，从“更多”按钮下拉框中可点击“资源引用关系”按钮，查看当前集成方案所有的依赖资源及其引用关系图。

以当前集成方案为主资源，可以查看其上游的启动方案，以及下游所依赖的集成对象和值转换规则等资源。下游资源同样还可以继续穿透查看。

同时点击对应的资源块，可以查看详细的节点内容。