开篇一张图 分享给大家

大家好，我是志明。

熟悉笔者的朋友可能知道，笔者之前做的并非纯数据相关工作（产品或项目），笔者属于半路出家的数据人，之前也几乎没有直接接触过数据仓库、数据中台、数据平台等产品或项目，与数据库是一直打交道。要说真正与数据结缘，那得从16年8月起说起，当时因公司某些产品基于传统关系型数据库与一些开源数据仓库产品（如InfoBright）跑一些功能遇到了瓶颈——实在是跑不动。

当年临时从外地出差项目组抽调回北京公司总部，从0基础开始研究开源Hadoop+Hive+Spark[-SQL]+ES集群环境的搭建，到与产品进行整合，最后就是用一些淘汰的PC服务器和精简的Hadoop相关套件搭建起集群解决了当时跑不了、跑不动、跑不完等痛点，也算是小有成就。

期间，遇过不少难题，走过不少弯路，掉进过不少坑，感谢这次机会，让笔者与数据结缘，之后所做之事就没离开过数据，路虽难，行则至；事虽难，做则成！

早些年的数据项目大多数是以“XXX数据质量校验”、“XXX数据分析平台”、“XXX大数据项目”等常见的名称进行立项，而近些年多以“XXX数据治理项目”进行立项，叫啥不重要，其实所做之事基本上与前面的差不多，无非就是数据采集、数据清洗、数据加工、数据质量、数据建模、数据挖掘、数据分析、数据共享、数据应用、数据展现（可视化、BI、报表、大屏），几乎都是短平快的项目，几乎也都是基于理想化的前提下进行项目实施，而最具价值的交付成果往往是“大屏”，其实项目目标也是实现了的，也算是MVP，但从长远角度考虑，还是远远不够的，后续可能会有很多推倒重来的冲动，而又会顾虑前期的“工作成果”而不停妥协。

受限于资源与成本（预算），很难有精力去考虑或沉下心规划更高、更深层次的东西，诸如：数据管理战略、数据管理框架、数据管理文化、数据管理组织、数据生命周期，及元数据管理、主数据管理、参考数据管理、数据安全管理等……学过DAMA-DMBOK2知识体系的都知道，万变不离其宗，基本市面上绝大多数与数据治理相关的产品都是基于其知识体系所构思和设计研发的，但是上一套这类系统是否就能彻底解决数据治理相关的问题了呢？