如何搭建一套完整的数据指标体系？

随着大数据及工业信息化的快速发展，多样性的数据源体量在日趋递进式增长，形成多源异构的数据烟囱，从而衍生出企业对各类数据如何协同管理的难题，也导致大量的数据失去了自身的无限价值。如何进行系统化的数据治理，达到科学有序的大数据管理，为企业发展决策提供有效依据便成为行业痛点。

数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何将数据作为企业数据烟囱资产进行应用和管理的一套管理机制。数据治理能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部协同共享，并能够将数据作为企业的资产应用于业务，管理，战略决策中，发挥数据资产价值。数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。

数据之资源梳理

数据治理是为了提高数据自身的质量，满足企业决策使用，衡量数据质量的标准即数据的完整、一致、准确、及时、唯一、有效六个特性。逻辑科学的治理前提以业务的视角理清数据源的环境及清单，从数据生命周期为线索梳理每个业务模块产生的所有数据关系，指定完善的数据体系模板，规范化定义数据指标。发挥数据价值需要满足三个要素：合理的平台架构、完善的治理服务、体系化的运营手段。数据治理的核心是优化现有数据查询或计算体系，通过治理解决数据问题：一是降低使用数据成本，和提升数据查询效率。二是规范数据建设，指标建设，保障数据建模统一性，统一标准，数据一致性 。三是优化数据管理方案，提升问题查找或解决问题效率。

数据之采集清洗

大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。梳理采集的数据种类多样繁杂，其中包含线上行为数据：页面数据、交互数据、表单数据、会话数据等。内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。所以对于不同数据类型采集方式也分为离线采集，实时采集，互联网采集，特定系统接口等方式采集，针对资源梳理后的数据选择适合的采集清洗方式形成初步的数据资产。

数据之存储积累

数据存储数据仓库是通过ETL技术把原始数据进一步加工处理，提高数据数据质量，统一数据标准，然后把数据再进行分类，就是主题的维度建模过程，将数据统一存储与管理，为了满足决策分析型需求。数据湖就好比一个大型仓库，什么格式的数据都存储，但只存原始数据。数据中台是将经过数据治理的数据仓库或大数据平台中的数据，通过接口的方式直接服务于应用系统。

数据之体系管理

数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。数据管理优化体系包括以下内容：1.流程制度规范制定；2.数据架构制定；3.数据标准确定；4. 组织，职能分工，智能；5. 治理工具建设；6. 治理工具建设；7. 治理沟通推进模式。优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapReduce，HBase 等。

数据之应用共享

数据治理的目标是提高数据的质量，实现数据资源在各组织机构部门的协同应用，推进数据资源的整合、服务和共享，从而提升企事业单位信息化水平，充分发挥数据资产作用。也是建设数据管理平台的前提条件，平台把业务生产资料转变为数据生产力，同时数据生产力反哺业务，形成不断迭代循环的闭环过程——数据驱动决策、运营！

基于数据服务业务，对数据治理的意义不只是一个“项目”，而是一个持续运营的过程。规范化的模型管理是保障数据可以被治理的前提条件，高质量的数据是数据可用的前提条件，数据的安全管控是数据可以共享交换的前提条件。公司也以数据治理的过程看作是由一个个数据治理“微项目”组成，连续的、螺旋上升的模型。一个项目的落地，不是公司数据治理的终点，而是我们数据治理服务真正的起点！