用友主数据管理实施方法论平台与数据智能事业部2020.08主数据管理实施方法论用友经过多年主数据项目的经验的积累,总结形成了一套成熟的主数据实施方法论体系。我们将主数据实施分为需求分析、蓝图设计、平台实施、数据运营四个阶段:1.1需求分析阶段1.1.1企业战略理解在大数据时代,数据得到了各行各业空前的重视,数据蕴含价值成为共识、数据驱动业务成为企业IT发展的方向。对企业而言,做好数据治理、管理企业数据资产、挖掘数据价值成为信息化建设新的课题。通过高层访谈,梳理企业发展战略。在理解企业发展战略的基础上,对企业价值链、产业链以及业务模型和业务结构进行分析,形成全局的业务体系和主数据管理的思路框架,为指标体系规划和主数据规划提供基础。1.1.2企业业务理解业务需求的最根本动机和阶段性成果,也就是“业务目标”,通过分析明确该业务需求的目的和目标,使业务目标服务于企业战略目标。通过对企业主价值链分析的一系列业务的输入、转换与输出的活动,以及每个业务活动的归口部门、参与活动的角色、主要产生的数据,存在的问题,带来的价值等内容。通过对企业业务的理解和分析,找到企业的业务痛点,为主数据建设范围和主要目的圈定一个框架。1.1.3系统现状调研系统现状调研是对企业的信息系统进行全面调研,从而形成对企业信息化现状的深入理解。系统现状调研需要对每个业务系统的基本情况进行摸底,了解的主要内容包括但不限于:系统名称、系统上线时间、系统厂商、实施商、开发语言、数据库类型、使用单位和部门、主要功能模块,主要的基础数据,接口情况,系统维护部门、系统维护人员等。1.1.4关键数据梳理基于对企业业务的理解,确定业务单元(业务域),梳理各业务域处理的业务单据和所产生的数据资源,确定基础数据并分析基础数据的关系和质量。通过数据梳理,可以彻底搞清楚企业现有关键数据的分布,主要管理部门、数据管理情况、数据的共享交换情况等至关重要的内容,从而为构建主数据管理模式和建立主数据管理体系打下基础。1.1.5主数据识别主数据管理的目的就是为了确保企业核心数据的准确性、一致性、稳定性,打破数据孤岛,帮助企业高效运转。然而在茫茫数据大海中识别出主数据是一项非常复杂的工程,它不仅要依靠专家的经验并结合行业特殊情况,同时要有一定的方法理论支撑。用友参照业界标准方法并经过多年项目沉淀,形成了一套成熟的主数据识别方法——特征识别法。主数据的特征是独立反应客观的真实存在,不依赖于其他数据;是交易和财务活动开展的基础;数据总量小相对静态,数据增长和变化缓慢;数据共享性强,链接各个业务、管理过程。基于数据的特征,主数据识别标准如下:序号主数据判断标准标准描述及解释标准值1是否独立存在(实体独立性)主数据独立反应客观的真实存在,不依赖于其他对象是2是否由不同业务部门/信息系统共享(高度共享性)主数据一般是不同业务部门之间、不同业务系统之间高度共享的数据,至少在三个以上业务系统之间共享。是3是否存在多个特征属性(特征一致性)主数据作为业务操作的主要对象,一般存在很多属性,用于区分不同操作对象,不同于普通的编码表。但关键特征在不同应用、不同系统中的高度一致是4是否不随业务操作改变(交易稳定性)主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制;但无论交易过程如何复杂和持久,除非该主数据本身的特征发生变化,主数据的关键属性通常不会随交易的过程所被修改是5是否较长生命周期(长期有效性)系统中的主数据有效性通常贯穿该业务对象在市场上的整个生命周期甚至更长;换言之,只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有比较意义则该主数据就需要在系统中继续保持其有效性是6是否具有唯一性识别(识别唯一性)在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等);用以明确区分业务对象、业务范围和业务的具体细节。是1.1.6确定范围与目标范围的确定:基于主数据识别结果,结合企业业务需求,通过主数据的共享程度及主数据相对业务的重要性进行评估,确定适合纳入主数据管理的数据范围,并明确主数据的来源去向。这一过程中,重要的一个输出物是主数据的U/C矩阵,如下图:C表示创建,是对应主数据的生产者,U表示对应主数据的消费者,通过U/C矩阵可以反映主数据管理的范围和主数据的数据流向。目标的确定:主数据管理最核心的任务是确保企业核心数据的准确性、一致性、稳定性,打破数据孤岛,帮助企业高效运转。主数据管理目标是基于企业战略理解和业务理解基础之上,服务于企业管理和业务的目标实现。1.1.7主数据需求分析在确定了主数据管理的范围和目标后,则采用定性和定量分析相结合的方式进行主数据管理现状和需求的分析。主数据现状分析内容包括:主数据存在的主要问题,主数据的标准化现状,主数据的管理现状,主数据的质量情况,主数据的集成现状以及客户对未来主数据管理的期待等。1.2蓝图设计阶段1.2.1主数据组织体系建设结合业界最佳实践,根据企业的业务需求和管理现状,建立覆盖企业范围集中的主数据管理组织体系,持续的提升集团公司各方面对数据战略的认知程度和对主数据重要性的认识。组织体系规划主要包括企业各类主数据的归口管理部门、管控模式、角色与职责规划,通过组织体系规划建立明确的主数据管理机构和组织体系,落实各级部门的职责和可持续的主数据管理组织与人员。1.2.2主数据标准体系设计主数据标准体系的内容包括:主数据的来源,主数据分类、主数据编码、主数据结构和主数据之间的关联关系。主数据来源:规定数据的唯一出处;主数据分类:确定主数据的分类体系,例如:物料主数据的分类;主数据编码:确定主数据的编码规则,主数据编码分为有意义的编码(例如:按分类编码)和无意义的编码(例如:纯流水码)两种,具体采用哪种编码规则视项目情况而定。主数据结构:确定每个主数据的属性视图和数据结构;主数据关系:确定数据之间的关联关系,例如:主数据与参照数据。1.2.3主数据管理流程设计主数据管理流程的设计是为了规范主数据管理的过程,确保数据的输入规范化、管理流程化、输出标准化。主数据管理流程设计是定义每一个主数据申请、审批、使用的流程,确定每个流程环节的岗位/角色,业务操作和注意事项。企业主数据的管理流程,一般包括:主数据新增流程;主数据变更流程;主数据使用申请流程;1.2.4主数据集成规范设计主数据集成规范是定义主数据生产系统和消费系统与主数据平台集成的接口方法和规范。主数据集成规范定义了主数据的集成方式(比如:推送、拉取),接口的类型(比如Webservice、Rest)、接口地址,接口的输入参数和输出参数,以及与主数据平台的对接要求、注意事项等。1.2.5主数据清洗方案设计主数据清洗为了形成一套标准的主数据代码,主数据清洗工作包含了期初数据的收集整理和遗留系统历史数据的处理。主数据清洗方案的主要内容包括: 确定主数据清洗的原则; 确定主数据清洗范围和目标; 确定主数据清洗的组织和角色分工; 确定主数据清洗的流程、要求和注意事项; 确定主数据清洗的模板; 确定遗留系统历史数据处理; 确定主数据清洗的计划;1.2.6制定主数据实施计划制定主数据的项目任务书和工作计划,包括:项目组织机构设置,项目资源规划,项目里程碑计划,确定项目阶段和每个阶段的重点任务、任务分工、完成时间、输出工件、资源配合要求等;1.3平台实施阶段1.3.1主数据平台部署主数据平台的在测试和生产环境中的安装部署、配置、调试等。企业主数据管理平台是否成熟,功能是否满足需求,性能是否稳定,也是影响项目成败的一个重要因素。推荐选用用友多年技术沉淀,大量客户验证的成熟主数据管理平台:1.3.2数据准备与清洗主数据清洗包括了期初数据的收集和整理、遗留系统历史数据处理。期初数据收集整理:主数据期初数据的收集、整理工作主要依据主数据清洗规范的约定,采用线下和线上相结合的方式进行数据的处理,形成标准化的期初数据。遗留系统历史数据处理:在遗留的业务系统中,旧数据往往不可以删除,一般采用数据映射的方式进行处理。即使在出现可替代的新数据时依旧需要保留旧数据的编码,这主要出于两个考虑原因:一是有些历史报表用到的都是这些旧数据,若删除了就会导致该报表无法实现或数据失真;二是在现有系统中修改旧有数据的工作量十分巨大且不现实,因为关联单据众多,随意改动会引起大量不必要的风险。1.3.3数据集成与联调主数据集成涉及的系统包括数据源系统、主数据消费系统以及数据集成平台。主数据集成就是通过数据集成平台将位于不同数据源系统的主数据,统一集成到主数据系统中,再根据业务系统的需要分发共享给主数据的消费系统的过程。主数据集成过程的各系统厂商都应按照《主数据集成规范》约定的集成方式、接口标准、注意事项进行对接。主数据集成要做好集成测试和联调工作,确保主数据传输的完整性和及时性。集成的各系统需要需要容错机制和日志记录,以便在集成过程中进行调试。1.3.4系统上线试运行主数据集成联调完成后,需要用户进行用户接收测试,进行主数据系统功能测试、接口数据集成测试,测试通过后可以开通系统的试运行。系统试运行期间主要包括数据初始化、日常维护以及接口缺陷跟踪和修复等方面的工作内容。为了检验系统的试运行情况,可将数据或配置信息加载到数据源系统进行正常操作,验证数据源系统到主数据系统的接口通道,同时验证主数据系统到数据消费系统的接口通道。对于在试运行期间发生的系统问题、接口问题,应该及时更正系统的功能和接口程序。如果是新增的额外需求,此时可以遵循项目变更流程进行变更,也可以将其暂时搁置,作为后续升级项目工作内容的一部分。1.4持续运营阶段主数据管理是一个不断优化、持续运营的过程,不能一蹴而就。企业应根据项目实施阶段制定的各种数据标准、管理流程、管理制度长效持续的进行运营,才能不断提升企业数据质量,为建设企业的数字化转型提供支撑。1.4.1主数据运维管理主数据系统运维管理应纳入企业IT运维管理体系,进行日常的事件管理、问题管理、变更管理、发布管理、运行管理、系统备份/恢复、数据备份/恢复等管理工作。除此之外,主数据运维管理工作还包括:主数据的申请、审批,主数据的采集分发,新增业务系统接入等工作。1.4.2主数据质量管理建立主数据质量的评估、评价体系,定期进行主数据质量检核,持续提升主数据质量是主数据管理的核心。主数据质量管理是从数据质量指标定义、主数据质量检核、生成主数据质量报告、主数据质量问题处理和改进的闭环管理过程。1.4.3主数据全生命周期管理主数据全生命周期管理包括以下内容:1.主数据的增加,删除,修改,查询。这些服务的要求是最大限度的让系统中的数字化数据与数据所描述的真实事物相符。2.数据版本管理。对数据的每次变更进行版本管理,记录以往的数据内容及状态。3.支持数据管理流程。企业出于管理目的会对每种数据建立不同的管理规范,规范的基本内容是谁,在什么时候对什么数据负怎样的责任。4.主数据采集分发。从不同的数据源和应用程序中采集主数据,在主数据系统进行排重和处理,将可信的主数据与下游应用程序和数据仓库进行同步。