数据质量规则的依据来源核心是数据标准。如何保障数据标准被落地以及被执行呢?通过数据质量的情况进行一个检查,这就是数据标准、元数据以及数据质量之间的关系。数据质量的每一条核验规则写到每一个字段上、每一条元数据上。关于数据标准、存量的元数据的治理,对于新增的这部分,我们怎么样从源头上能保证我们数据标准的被有效的执行呢?
常用的一种手段叫数据模型,包括物理模型与数据标准的过程链接和落地,从而保证数据模型是可以从源头上进行管理的。数据标准同时又作为一种输出,支撑数据模型。
对进行数据分类,进行数据分析,把分类规则输出给数据安全。
在数据安全之外,经常有一部分企业在最开始开展数据治理时,是通过元数据、主数据的治理来开展。主数据是什么?有些核心的高价值的数据会形成主数据,数据标准会通过体系的支撑给到主数据。同时因为主数据在实际应用的规程中,对数据标准的使用进行反馈和优化。
关于数据架构管理。输出一些数据的技术标准给到数据模型,同时数据模型会把高价值的数据资产输出给数据架构管理,这就是数据治理与数据管理域的关系。
把数据架构、数据标准、数据质量、数据安全这些建好之后,接下来要进行能力的输出。能力的输出是给到数据应用、数据服务。
数据应用里面的第一个抓手是数据需求管理:一是为了更好地促进数据共享;二是明确数据服务规范,数据需求不断地遵循和适应规范,同时数据服务要反向适应需求——这是一个不断的循环的过程
数据质量是保证为数据分析业务决策提供高质量的数据,保证数据的有效性。
落地的核心关键点包括:
一是建立数据质量的评分卡。
二是进行源头治理。如果仅仅是在数仓内对处理完的数据进行治理,比如数据质量的提升仅在仓内开展,这是远远不够的。本质上数据从业务端开始,从系统端开始,它的数据还是有问题的,没有本质去解决问题,所以源头治理也是核心关键点。
三是数据质量的分级处置:根据不同的数据问题,不同的数据的重要性,设置对应的数据质量处理方案。
四是认责机制。其实这也是整个数据治理工作开展的核心,可以保障质量问题的发现追踪和解决。