应用篇：数据工场 - 数据移动YonBIP V3.0 （ (R5_2312 ）产品应用培训主讲人：洪艺伟课程分级：Ⅲ 面向对象：实施交付目录总体概述11 、业务痛点； 2 、应用架构； 3 、业务模型； 4 、业务场景、 5 、关键特性1 、初始准备； 2 、场景 / 流程； 标准应用2专题应用31 、专题应用； 2 、 A 类 /B 类工具；创新应用41 、数据化； 2 、智能化； 3 、移动化； 4 、全球化； 5 、 ......新增特性52023 年全年总体概述PART1 、业务痛点； 2 、应用架构； 3 、业务模型； 4 、业务场景、 5 、关键特性1 、业务痛点 数据采集的“三”座大山 - 难度大，数量大，源头多业务数据、应用日志数据、用户行为数据、操作系统审计日志、网络设备产生的流量日志数据等等，数据量动辄上亿、数十亿，采集源头多、数据量大、结构化程度不同 数据库种类繁多，数据格式繁杂对于大型企业经历信息化建设的过程后， ERP 、 CRM 等各类系统并存，引入众多数据库类型，其规则和固定格式不统一，在数据汇聚时难以按照统一模型输出标准格式数据，需要进行大量数据清洗转换工作，以期达到可用性 数据采集方法混乱，管理压力及风险较大企业在信息化建设过程中与不同的供应商合作，往往可能会采用多种数据采集方法，例如采用 Crontab 定时调用脚本抽取数据、使用 Kettle 同步业务数据、使用 Flume 采集日志文件数据等等，无法统一管理、监控 数据孤岛、重复造车问题严重企业内部缺乏统筹部门，各业务部门只关注需要的数据， 存在重复抽取和存储；采集的数据质量差，数据不准确；数据之间关联性差，无法复用、融合，数据孤岛问题降低了数据的价值，数据挖掘难度增大2 、应用架构Mysql数据库SourceProcessor TargetProcessor数据移动mysql•通过 Binlog Dump 获得变更记录•转换 Binlog 为 SQL 语句•在 Target 端批量写入目的地DataChangesBinary logBinlog Dumpmysqlmysql3 、业务模型（或业务流程）4 、业务场景构建企业数仓 ODS 层整库备份跨环境实时同步档案数据数据脱敏跨库、实时同步数据，保障 BIP 分库部署的档案数据一致性实时同步数据，构建实时大屏领 域 分 库 同 步档 案 迁 移流 式 同 步批 量 同 步5 、关键特性批量同步：构建企业离线数仓流式同步：实时大屏档案迁移：跨环境实时同步档案数据，提升实施效能领域分库同步：跨实例实时同步领域及档案数据，提升 BIP 性能•增量同步 / 全量同步•支持按照过滤条件实时过滤数据•支持设置数据清洗转换规则，提升数据质量•支持设置派生列，满足数据处理需求•支持按照过滤条件实时过滤数据•支持设置数据清洗转换规则，提升数据质量•支持设置派生列，满足数据处理需求•支持从业务对象获取元数据，并实时同步物理表数据•支持对系统敏感字段进行数据脱敏，保障用户数据安全•支持按照系统租户过滤数据•支持添加黑名单，过滤部分日志表，提升同步性能•支持数据库多模式数据同步，加快构建任务标准应用PART1 、初始准备； 2 、场景 / 流程（细化）； 2.1 初始准备2.1 初始化准备准备工作：•创建数据源•检查数据源与数据移动中间件网络连通性核心场景：•创建同步任务•配置同步任务通道•创建数据对比任务2.1 初始化准备 - 创建数据源操作路径：数据中台 - 数据中台公共 - 配置中心 - 数据源管理操作步骤：1 、进入数据源管理中，点击 < 新增 > 按钮，打开数据源配置页面2 、配置数据源的连接信息，测试连接性通过后，保存数据源①②③2.2 场景 / 流程场景 1 ：批量 - 全量数据同步（ 1/7 ）产品定义：在数据同步的过程中，将所有数据都进行同步 , 一般需要清空目标表，防止目标表出现主键冲突全量同步使用场景：•数仓构建•数据湖数据采集•数据备份业务价值：•助力企业构建数据仓库明细层数据•整库数据备份，归档历史数据场景 1 ：批量 - 全量数据同步（ 2/7 ）1 、任务新增进入数据移动 - 任务管理页面，点击新增按钮，创建任务场景 1 ：批量 - 全量数据同步（ 3/7 ）2 、配置源...
