应用篇:数据工场 - 数据开发YonBIP V3.0 ( (R5_2312 )产品应用培训主讲人:洪艺伟课程分级:Ⅲ 面向对象:实施交付目录总体概述11 、业务痛点; 2 、应用架构; 3 、业务流程; 4 、业务场景、 5 、关键特性1 、初始准备; 2 、场景 / 流程; 标准应用2创新应用31 、全球化新增特性41 、 2023 年全年总体概述PART1 、业务痛点; 2 、应用架构; 3 、业务流程; 4 、业务场景、 5 、关键特性1 、业务痛点02010403工作效率业务多,开发工作量大业务变化时需要重新开发硬编码,开发调度耗时耗力开发标准代码质量严重依赖个人缺乏统一的开发标准无法形成通用的组件数据质量缺乏标准的数据质量核查需要开发维护大量冗余代码进行数据检查运维管理处理程序运行异常时有发生管理混乱,缺乏统一的管理平台2 、应用架构3 、业务流程1.用户创建项目,并维护相关信息,包括项目引擎、业务域等;2.创建任务所需的数据源信息,并采集数据源的元数据信息;3.在自助 ETL 节点,创建自助 ETL 任务;4.根据业务需要,拖拽数据处理组件,配置 ETL 流程;5.发布 ETL 任务,按照调度时间执行;1.业务人员按照业务发展需求,提出数据模型需求;2.需求分析人员与业务人员对接,分析其需求合理性,评估可行性;3.数据开发者按照需求开发数据模型;4.指标结果经业务人员审核通过后,正式对外提供使用;开发流程业务流程4 、业务场景全量 / 增量同步外部系统数据采集数据同步特征工程模型训练结果预测数据挖掘数据关联查询数据统计分析数据加工5 、关键特性序号能力特性价值1任务管理•以目录树的方式管理任务•支持多种开发形式灵活开发,提升效率2数据同步•异构数据源的增量 / 全量同步•实时同步数据数据汇聚,打破数据孤岛3数据清洗•丰富的数据预处理组件可视化处理数据,高效便捷4数据挖掘•分类算法 / 聚类算法 / 回归算法•特征工程 / 统计分析 / 预测评估挖掘数据价值,助力智能决策5任务调度•实现手动执行 / 周期性调度•出错重试 / 超时失败可视化管理调度,便捷运维6任务运维•数据补偿 / 一键重跑统一管理任务,提升运维效率7开发性能•可视化拖拽式交互,降低开发门槛•基于 spark 引擎实现海量数据处理提升数据处理上限,降低开发门槛标准应用PART1 、初始准备; 2 、场景 / 流程(细化); 2.1 初始准备2.1 初始化准备•创建数据源•元数据采集•创建项目•业务板块•创建任务•任务开发•任务上线 进入数据中台 - 数据中台公共,点击 < 数据源管理 > ,新建数据源 创建数据源以后,进入数据源详情,确认元数据采集完成 进入数据中台 - 数据工场,点击 < 项目列表 > ,新建项目 在项目新增页面,维护项目名称、编码、业务板块、数据引擎等 创建项目以后,进入数据工场 - 数据开发,点击 < 自助 ETL> ,新建任务 在任务画布页面,根据业务需求,选择相应的数据开发组件 配置任务调度、告警信息,完成任务上线2.1 初始化准备 - 创建数据源•创建数据源•元数据采集•创建项目•业务板块•创建任务•任务开发•任务上线操作路径:数据中台 - 数据中台公共 - 配置中心 - 数据源管理操作步骤: 1 、进入数据源管理中,点击 < 新增 > 按钮,打开数据源配置页面2 、配置数据源的连接信息,测试连接性通过后,保存数据源①②③2.1 初始化准备 - 元数据采集•创建数据源•元数据采集•创建项目•业务板块•创建任务•任务开发•任务上线操作路径:数据中台 - 数据中台公共 - 配置中心 - 数据源管理操作步骤:①1 、创建数据源以后,进入数据源详情,确认元数据采集完成2 、若数据源详情中已经显示所有模式中的表的元数据,则表示已经采集完成3 、若数据源详情中不显示表的元数据信息,则需要进入元数据采集管理页面采集②③④2.1 初始化准备 - 创建项目•创建数据源•元数据采集•创建项目•业务板块•创建任务•任务开发•任务上线操作路径:数据中台 - 数据工场 - 业务规划 - 项目列表操作步骤:1 、进入项目列表,点击 < 新增...