用友YonBIP V3.0 (R5_2312_1) 旗舰版私有云用户手册-云平台-数据中台-数据工场.pdf

YonBIPV3.0(R5_2312_1)旗舰版云平台篇-数据中台-数据工场用友网络科技股份有限公司2024年1月用户手册1/301版权©2024用友集团版权所有。未经用友集团的书面许可，本用户手册任何整体或部分的内容不得被复制、复印、翻译或缩减以用于任何目的。本用户手册的内容在未经通知的情形下可能会发生改变，敬请留意。请注意：本用户手册的内容并不代表用友网络所做的承诺。用户手册2/301目录第一章总体概述................................................................................................................................................61.1产品概述................................................................................................................................................61.2产品价值................................................................................................................................................6第二章应用场景................................................................................................................................................72.1场景一：基于多维建模理论构建消费者行为分析应用.........................................................72.1.1业务描述............................................................................................................72.1.2业务流程............................................................................................................72.2场景二：基于关系建模理论构建供应链库龄分析应用.........................................................82.2.1业务描述............................................................................................................82.2.2业务流程............................................................................................................8第三章操作指南................................................................................................................................................93.1概览.........................................................................................................................................................93.1.1总体概述............................................................................................................93.1.2总体价值............................................................................................................93.1.3相关内容............................................................................................................93.1.4业务概览............................................................................................................93.1.5维度建模概览................................................................................................113.2数据移动.............................................................................................................................................123.2.1总体概述.........................................................................................................123.2.2总体价值.........................................................................................................12用户手册3/3013.2.3任务管理.........................................................................................................133.2.4错误中心.........................................................................................................563.2.5业务对象同步................................................................................................593.2.6数据对比.........................................................................................................743.3业务规划.............................................................................................................................................833.3.1总体概述.........................................................................................................833.3.2总体价值.........................................................................................................833.3.3相关内容.........................................................................................................833.3.4项目列表.........................................................................................................833.3.5业务板块.........................................................................................................863.3.6数据域..............................................................................................................873.3.7业务过程.........................................................................................................893.3.8时间限定.........................................................................................................903.4关系建模.............................................................................................................................................933.4.1总体概述.........................................................................................................933.4.2总体价值.........................................................................................................933.4.3相关内容.........................................................................................................933.4.4关系模型.........................................................................................................933.5数据资产...........................................................................................................................................1043.5.1总体概述.......................................................................................................1043.5.2总体价值.......................................................................................................104用户手册4/3013.6维度建模...........................................................................................................................................1043.6.1总体概述.......................................................................................................1043.6.2总体价值.......................................................................................................1043.6.3相关内容.......................................................................................................1043.6.4事实表管理...................................................................................................1043.6.5维度管理.......................................................................................................1263.6.6汇总表管理...................................................................................................1583.7指标管理...........................................................................................................................................1653.7.1总体概述.......................................................................................................1653.7.2总体价值.......................................................................................................1653.7.3相关内容.......................................................................................................1653.7.4指标列表.......................................................................................................1663.7.5复合指标.......................................................................................................1853.7.6业务限定.......................................................................................................1893.8数据开发...........................................................................................................................................1923.8.1总体概述.......................................................................................................1923.8.2总体价值.......................................................................................................1923.8.3相关内容.......................................................................................................1923.8.4离线开发.......................................................................................................1933.8.5实时数据开发..............................................................................................2023.8.6交互式开发...................................................................................................212用户手册5/3013.8.7任务编排.......................................................................................................2173.8.8自助ETL........................................................................................................2213.9任务调度...........................................................................................................................................2733.9.1总体概述.......................................................................................................2733.9.2总体价值.......................................................................................................2733.9.3相关内容.......................................................................................................2733.9.4任务列表.......................................................................................................2733.9.5任务实例.......................................................................................................2813.10标签画像.......................................................................................................................................2843.10.1总体概述.......................................................................................................2843.10.2总体价值.......................................................................................................2843.10.3相关内容.......................................................................................................2843.10.4实体管理.......................................................................................................2853.10.5事件管理.......................................................................................................2913.10.6标签萃取.......................................................................................................295用户手册6/301第一章总体概述1.1产品概述数据工场是基于创新中台化架构的云原生大数据处理平台，产品融合数据移动、数据建模、指标管理、数据开发、调度管理等功能。该产品整合多款底层产品能力，根据数据仓库建设需求与实际业务数据的使用需求，提供多种开发工具面向IT开发人员或者业务分析人员，实现了从数据采集、数据融合到加工、最后输出结果数据集的全流程一站式服务功能。1.2产品价值数据移动形式多样，打破企业数据孤岛。支持批量同步、流式同步、文件同步、自定义同步四种类型的数据移动，可方便的对不同数据来源和目的数据的数据集成任务构建；支持MySQL、Oracle、SQLServer、Greenplum、Hive3、达梦（DM）、PostgreSQL、DB2等多种数据源的创建。在现有数据源不满足的情况下，用户可通过自定义同步创建定制化的同步任务，提高数据同步可用性。标准化数仓建模，提升数据分析和展示的性能。产品既可以构建关系模型、也可以构建多维模型，提供体系化、可视化的在线建模及研发的能力，通过规范维度、事实的建模过程，减少数据分析时多个JOIN操作情况的出现，降低SQL语句的复杂度，从而提升数据分析和展示时，对数据库引擎的压力。内置多种算法模型，支持营销、财务、供应链、采购、人力等全业务流程的数智再造。产品支持SQL数据开发和Python数据开发，可针对使用数据仓库加工的指标数据，使用SQL语句进一步加工，使用Python工具和内置函数进一步加工，提供数据建模能力。支持主流的数据挖掘算法和机器学习算法，包括Kmeans聚类、神经网络、随机森林、决策树等50多种算法模型。技术门槛低，利于产品的实施和使用。产品在设计时，无论是数据移动、数仓建模、指标管理的向导式创建方向，还是专业级的数据开发，进行数据探索、数据查询、数据清洗、数据脱敏等多项操作，都体现出灵活易用，将复杂的理论简化为简单的拖拉式的方式实现。运维方便，利于运维人员日常管理。支持开发任务、逻辑表任务管理，追踪任务运行进度与状态，可查看任务基本信息、代码、及对应生成的实例，开发任务对应普通实例，逻辑表任务对应逻辑表实例，实例为任务调度开始运行后生成，实例除可查看基本信息、代码外，还可查看运行日志，方便出错时查找问题症结，快速解决，任务及实例均可查看其依赖关系。产品安全性高，保障企业数据资产。产品支持租户隔离，为多部门协同提供便利，并可保证数据安全；支持项目隔离，不同项目形成不同的物理空间，即可保证数据安全，也可保证流程清晰，方便管理任务。用户手册7/301第二章应用场景2.1场景一：基于多维建模理论构建消费者行为分析应用2.1.1业务描述某公司想要根据客户的价值对客户进行分类，并提供针对性的产品服务和营销模式；现有销售订单表，需要根据相关的历史数据，从中分析出重要价值客户与客户交易量。以便相关部门可以根据分析报告立即采取行动，以保证企业后续的盈利。2.1.2业务流程应用清单数据源管理任务管理业务板块业务域业务过程时间限定项目列表维度管理事实表管理业务限定指标列表用户手册8/301离线开发-Python脚本方式2.2场景二：基于关系建模理论构建供应链库龄分析应用2.2.1业务描述库龄分析是指严格按照先进先出原则进行库存管理,按先进的货先出库的原则进行库龄统计，以免产品或物料过期，可以大大提高库存周转率,促进销售的同时降低库存资金积压风险。在该场景中：首先，利用数据移动功能，将源业务系统的数据同步到数据湖内，统一对数据资源进行管理；然后，利用关系建模功能，创建数据仓库各层的逻辑模型，接着物化至数据湖中；最后，利用离线开发的ETL功能将原始数据一步一步加工成目标集市层数据表，形成库龄分析的结果数据。2.2.2业务流程应用清单数据源管理任务管理业务板块项目列表关系模型自助ETL用户手册9/301第三章操作指南3.1概览3.1.1总体概述概览是展示当前租户的各项统计指标的仪表盘性质的看板页面，可帮助高层领导人员或管理人员快速查看该租户的信息，了解全局的产品概况。3.1.2总体价值快速便捷的查看租户各项指标；多种图表形式，可查看多种维度；帮助用户了解产品能力。3.1.3相关内容业务概览维度建模概览3.1.4业务概览3.1.4.1功能描述概览是展示当前租户的各项统计指标的仪表盘性质的看板页面，可帮助高层领导人员或管理人员快速查看该租户的信息，了解全局的产品概况。3.1.4.2业务规则高层人员查看租户各指标情况。3.1.4.3栏目说明栏目名称说明用户手册10/301今日新增资源量指每个自然日新增的数据量，可能出现负数，负数指用户从数据工场移除了数据源数据源总数指当前租户内已添加的数据源总数数据源种类指数据工场已支持的数据源种类总数模型总数指当前租户内处于发布态的维度表、事实表、汇总表的总数指标总数指当前租户内处于发布态的原子指标、复合指标的总数任务总数指当前租户内已存在的逻辑表任务、开发任务总数项目总数指当前租户内已创建的项目总数数据流向点：数据源名称，线：代表被连接的两个点之间存在数据交换3.1.4.4操作说明3.1.4.4.1业务概览查看该场景是为满足用户查看数据变更统计、数据源统计、模型统计、项目统计、数据流向统计等维度的情况。进入概览＞业务概览功能，即可查看当前租户内存在的统计信息。用户手册11/3013.1.5维度建模概览3.1.5.1功能描述维度建模概览可帮助管理层或运维层从顶层视角快速了解当前租户内维度建模产生的模型和基于模型构建的指标等内容相关的统计指标的数据，并提供图形化过程引导，可点击跳转至相应节点进行业务处理。3.1.5.2业务规则业务板块：当前租户内全部业务板块数量；数据域：当前租户内全部数据域数量；业务限定：当前租户内全部业务限定数量；时间限定：当前租户内全部时间限定数量；业务过程：当前租户内全部业务过程数量；维度&维度逻辑表：当前租户内全部维度和维度逻辑表数量；事实逻辑表：当前租户内全部事实逻辑表数量；汇总表：当前租户内全部汇总表数量；原子指标：当前租户内全部原子指标数量；衍生指标：当前租户内全部衍生指标数量；派生指标：当前租户内全部派生指标数量；复合指标：当前租户内全部复合指标数量。3.1.5.3操作说明3.1.5.3.1查看维度建模概览打开概览＞维度建模概览功能，即可通过可视化形式查看当前租户的相关指标的数据。点击左侧列表的建模架构可按照业务板块>数据域>业务过程查看所有维度和事实表。切换页签可按照业务板块>数据域>业务过程查看指标体系。主工作区可以查看维度建模过程指引，并根据点击跳转至相应节点进行业务操作。用户手册12/3013.2数据移动3.2.1总体概述数据移动是用户进行数据同步的工具，在数据移动中可以进行批量数据同步、流式数据同步、文件数据同步。批量数据同步可以全量或增量的方式实现数据同步，也可以在同步过程中设置新字段、设置转换清洗规则等；流式数据同步可基于CDC（ChangeDataCapture(改变数据捕获)）的方式实现数据的实时同步；文件数据同步可实现常见的半结构化、结构化文件的同步，将本地离线文件同步至数据库内，如Excel、CSV格式的数据同步。数据移动关键特点：支持全量、增量、实时等多种同步方式，可满足不同场景的同步需求；支持库、表等不同粒度的数据同步场景；支持灵活的调度策略；支持数据清洗装换能力。3.2.2总体价值用户手册13/301数据移动-批量同步，支持定期进行全量或者增量的数据同步；数据移动-流式同步，基于数据库CDC（ChangeDataCapture）机制捕获数据变化，从而进行数据同步。可支持insert、update、delete等操作的实时数据同步。设置数据对比-分段对比任务时，需要满足表中具有主键和时间字段，可以根据主键和时间字段将数据切片，实现快速精准对比。3.2.3任务管理3.2.3.1功能描述用户可通过任务管理功能对同一租户下的同步任务进行管理，包括创建任务、查看同步任务的数量、状态、详情等。3.2.3.2业务规则创建批量同步-增量同步时，需要保证表中具有唯一性且可比较的字段，否则无法精准获取增量数据，造成同步增量数据失败；设置数据对比-分段对比任务时，需要满足表中具有主键和时间字段，可以根据主键和时间字段将数据切片，实现快速精准对比；创建文件同步时，请按照页面要求上传符合格式的本地文件。增量同步数据时，默认将ts/pubts等字段作为增量字段。3.2.3.3栏目说明栏目名称说明同步类型同步类型为批量同步任务的同步策略，包含全量、增量和表结构同步。全量指任务将按照调度周期性同步来源表的全部数据至目标表中。增量指任务将按照指定的来源表中的增量字段周期性的同步增量数据至目标表中。二者区别为全量同步任务创建时不强制要求来源表内存在主键，增量则强制要求来源表内存在主键或者增量字段，否则无法判断新旧数据的依据并发数量并发数量为该任务同时读/写数据的线程数批处理数批处理数为该任务一次读/写数据的最大条数用户手册14/301分区类型分区类型为该任务在写入时是否进行分区存储，以便后续数据查询。若选择分区后，则需要指定目标表的分区字段的值来源于来源表的字段。仅部分数据源类型支持分区操作读取起点读取起点指该任务起取数据的始读位置，包含运行任务为起点和自定义。运行任务为起点是以任务创建时为读取数据起点。自定义则需要输入相应的binlog文件名称及binlog点位值历史数据读取历史数据读取开启后，可以将来源表中历史数据同步至目标表开启CopyFrom数据同步性能优化项，仅当目标源为Greenplum数据库时显示。开启后，可提高Greenplum数据库的写入效率告警策略告警策略指按照一定规则设置的任务通知策略，当任务出现符合告警策略的信息时，可通知到相关人。3.2.3.4按钮说明<条件过滤>：对来源表设置过滤条件，筛选需要同步的数据内容。<同步索引>：同步任务创建目标表时，支持将来源的索引同步至目标表。开启后，会提高目标表的查询效率，但会降低数据同步效率。3.2.3.5操作说明3.2.3.5.1同步任务管理任务管理支持用户以目录的方式管理批量同步、流式同步、文件同步等任务。页面提供列表、卡片的展示风格，具备精准搜索能力，可批量操作任务。进入【数据移动>任务管理】功能，即可查看当前租户内创建的同步任务。用户手册15/301在任务管理界面，用户可以通过<新增>按钮新增任务，也可以对任务执行<开始运行>、<终止运行>、<查看流程>、<重新创建>、<删除>、<编辑>、<移动位置>等操作，为了提高效率，任务可通过<批量停止><批量运行>按钮实现批量启停操作。目录创建点击目录栏中的<新增目录>按钮，在弹出目录新增页面，定义目录名称及位置，即可实现目录的新增。新增任务时，任务默认放在当前选中的目录内。未选中目录时，新增的任务存放在根目录下。用户手册16/301创建任务点击<创建任务>按钮，选择需要新增的任务类型，不同任务类型需要填写的内容不同，根据具体同步需求选择即可。用户手册17/301开始运行点击<开始运行>按钮，可以继续执行已经暂停的任务，不会影响任务内已经同步到目标库的表。终止运行点击<终止运行>按钮，将对当前任务暂停操作，暂停任务流程并暂停数据同步操作，后续可继续运行。查看流程点击<查看流程>按钮，将跳转至NIFI任务流程页面，可以查看NIFI任务的处理进度及详情。用户手册18/301重新创建点击<重新创建>按钮，会重新按照任务配置创建任务，但不会删除已经创建的目标表和数据。删除点击<删除>按钮，将会删除该任务的卡片信息、任务流程，同时支持删除任务中目标表的表结构及数据。如该任务存在未同步的数据，将会自动从同步队列中删除，不再继续同步。删除需要二次确认。自定义同步任务类型删除时，弹出框没有“删除表结构及数据”选项。编辑批量同步任务支持任务的二次编辑。当任务状态为“已终止”或“创建失败”时，任务卡片和列表中显示<编辑>按钮，可对任务进行再次编辑，满足修改任务部分配置的需求。用户手册19/301移动位置点击任务卡片上的<移动位置>按钮，或者使用光标直接拖动任务，可以实现任务的跨目录移动的能力。点击<移动位置>按钮，弹出如下截图，可以实现任务的跨目录移动。3.2.3.5.2批量同步任务创建该场景可满足用户创建批量数据同步，支持跨数据库实例的多表数据同步。用户可根据需求选择全量/增量同步的同步方式、数据过滤、数据清洗、调度执行方式等策略。用户手册20/301进入【数据移动＞任务管理】功能，点击【创建任务＞批量同步】即可进入批量同步任务创建向导页面，在任务创建向导页面需要分别完善四个步骤的信息：“任务配置”、“配置源信息”、“选择同步内容”、“配置调度信息”。任务配置进入“创建批量任务”页面，需要完善任务名称、任务描述、数据源、目标源、告警策略。“任务名称”为该批量同步任务的名称，允许输入汉字/字母/数字/下划线(不能以下划线开头)，50字符以内。“任务描述”为此任务的备注信息，方便协同开发人员通过描述了解任务的具体用途。“数据源”为该同步任务的来源数据源地址，同步任务将从此处选中的数据源中读取数据。选择数据源时，支持通过数据源类型、关键字搜索快速定位数据源信息；“目标源”为该同步任务的目标数据源地址，同步任务将从数据源读取的数据写入到此处选中的数据库中。选择目标源时，支持通过数据源类型、关键字搜索快速定位数据源信息；告警策略可以选择已经指定好通知人及通知方式的策略，在任务出现符合告警策略的情况时，会按照告警策略设置的方式通知相关人员，及时关注任务运行状态。配置源信息用户手册21/301“任务配置”完成后，点击<下一步>，进入“配置源信息”页面。在“配置源信息”页面，首先选择同步类型，再配置同步任务的流量控制策略。数据源中“同步类型”为该任务的同步策略，分别为全量、增量和表结构同步。全量同步指将来源表的数据全部同步到目标表内。增量同步指将来源表中历史数据全量同步至目标表后，再按照调度时间将新产生的数据同步到目标表内。二者区别为全量同步任务创建时不强制要求来源表内存在主键，增量则强制要求来源表内存在主键或具有可比较性的字段（增量字段），否则无法判断新旧数据；表结构同步指按照来源表的表结构，在目标库中新增相同表结构的表，不同步来源表中的数据。流量控制策略包括“并发数量”、“批处理数”两项。根据数据库类型的不同，确认是否需要设置分区、同步索引、物化目标表、是否开启copyfrom（目标表为Greenplum时显示该配置项）等功能。数据源“并发数量”为该任务同时读数据的线程数，数据源“批处理数”为该任务一次读取数据的最大条数。目标数据源中“分区类型”为该任务在写入时是否进行分区存储，以便后续数据查询。若选择分区后，任务在目标表中默认新增“dt”字段作为目标表的分区字段，同时需要指定目标表分区字段的值的来源，产品支持从来源表中选取一个字段的值作为目标表分区字段的值。仅部分数据源类型支持分区操作。目标数据源“并发数量”为该任务同时写数据的线程数，目标数据源“批处理数”为该任务一次写入数据的最大条数。<开启CopyFrom>可以提高目标库为Greenplum的写入效率。用户手册22/301选择同步内容“配置源信息”完成后，点击<下一步>，打开“选择同步内容”页签，选择需要同步的表或者视图内容。选择同步内容时，需要先选择数据源/目标源中的模式映射关系，在下来列表中选择以后，点击<+新增同步>按钮，确定同步任务的模式映射关系，右侧显示来源模式中的表清单。如果需要同步其他模式的数据，可重复选择数据源/目标源的模式映射关系，点击<+新增同步>按钮完成新增。用户手册23/301选择同步的内容后，可进行字段映射关系查看，默认与源表一致，自动实现同名映射。可对目标表的字段类型进行变更，变更字段类型后，用户可在保证数据正常写入的情况下，自定义字段的长度和精度信息。可选择增量字段、分区字段，并可新增目标表字段。点击<高级设置>，在弹出框中选择<清洗脚本>按钮，可为当前表设置清洗脚本内容。目前产品已预置多个常用清洗脚本模板。用户可在添加模板后，修改部分信息即可预览脚本执行结果，预览结果数据满足预期后，点击保存即可生效。多张表时需要分别设置，设置后不会对源表数据进行修改，只在目标表中进行相应清洗操作。用户手册24/301支持设置目标表名和字段的大小写功能。由于hive不支持大小写，所有hive为目标表时，不支持设置表名和字段名大小写。当批量同步任务设置为增量同步时，支持DB2、MySQL、Oracle、Greenplum数据库设置多个增量字段作为增量同步的条件。当前增量条件的同步规则可以识别insert操作而产生的增量数据，不支持delete、update操作的数据。用户手册25/301配置数据移动任务时，支持在目标表新增行的操作。用户点击<添加行>按钮，目标表会添加一个新字段，字段值的来源可以通过<转换>按钮处理来源表的字段得到，也可以通过<高级设置>中的<清洗脚本>配置清洗来源表的数据得到。新增字段时，需要按照先后顺序的维护字段信息，当维护完当前字段后，允许再次新增字段。新增字段支持删除和配置转换功能。点击<转换>按钮，可以打开转换规则配置页面，支持对每条转换功能单独设置开关，方便精准管理；可对已输入的转换规则进行校验和清空。可搜索、查看来源表的字段级描述信息，也可搜索、查看转换规则的解释及使用示例。用户手册26/301当将全部的新增字段配置完转换规则以后，点击<公式校验>按钮，可以对当前表配置的转换规则做一个整体性校验，校验流程：点击<获取样例>按钮，获取一条样例数据；点击<校验>按钮，执行转换规则，得出处理后的记录，确认是否符合预期。当需要对部分表通过共有字段筛选过滤数据时，可在条件过滤中设置过滤条件，且支持设置条件过滤的生效范围，用户可根据需求设置全表生效还是自定义范围。设置条件时，如果有多个字段可以使用“and”连接多个字段，系统会将符合条件的数据同步至目标库中。条件支持的运算符如下列表所示：用户手册27/301操作符描述=等于<>不等于>大于<小于>=大于等于<=小于等于in包含条件过滤配置页面如下：配置调度信息“选择同步内容”完成后，点击<下一步>，进入“配置调度信息”页面。“配置调度信息”为设置该同步任务的执行时间，支持执行一次和时间周期两种方式，根据需求自行设置。选择执行一次时，调度周期、具体时间、cron表达式和立即执行按钮均不可编辑，保存任务后，任务会立即执行。时间调度按小时、天、周、月设置调度时间，可选择是否开启立即执行。“立即执行”为该任务保存后，是否立即执行一次，勾选及立即开始，用户手册28/301不勾选则按照设置的调度周期到点执行。确认信息无误后，点击<保存>，即可保存任务并开始运行。3.2.3.5.3查看批量同步任务详情该场景是为满足用户查看批量任务运行状态、同步内容、异常日志等信息的场景，可按照任务分别查看。进入【数据移动＞任务管理】功能，点击“批量任务名称”，即可进入批量任务详情页面，在详情页面可查看当前任务的概览、数据对比、运行监控。【概览】包含错误队列、调度信息、同步内容、参与者。“错误队列”展示任务运行过程中的出现的错误信息，保留最近七天的信息；“调度信息”展示任务创建时配置的调度信息；“同步内容”展示该任务涉及的模式、表名的映射关系及表结构；“告警策略”展示任务绑定的告警策略，告警策略中包含收该人和错误通知方式。用户手册29/301【数据对比】包含记录数对比、数据对比。“记录数对比”是指对同步任务内所有表进行记录数对比；“数据对比”是指针对部分表（必须有主键）进行某些字段的数据一致性对比。用户手册30/301【运行监控】包含同步监控、组件状态、队列信息。“同步监控”展示任务的运行信息；“组件状态”展示该任务内各组件的运行状态信息；“队列信息”显示该任务内各队列情况。数据一致性校验该场景是为满足用户查看数据同步执行是否有误的需求，可进行记录数对比和数据对比，记录数对比为数据一致性初步校验，仅对来源表和目标表的数据行数进行对比；数据对比为数据内容一致性校验，可选择需要对比的字段进行指向性对比，更加准确。用户手册31/301进入【数据移动＞任务管理】功能，点击“批量任务名称＞数据对比”，即可进入批量任务数据对比页面，在数据对比页面可查看当前任务的“对比报告”。记录数对比点击<立即对比>按钮，可对该同步链路执行记录数对比，记录数对比支持批量执行。对比任务执行时间支持开启和关闭，默认为关闭状态。数据对比的时间可通过<设置执行时间>按钮进行更改，更改下次执行生效。记录数对比和数据对比的对比时间均在此设置。数据对比数据量对比完成后，可查看数据量对比结果，针对数据量不一致的表，可进行数据对比，精确定位那些记录出现不一致的情况。用户手册32/301进入“...