【大数据】大数据治理之我见、中国外运主数据管理探索与实践

2019 年 1 月 30 日 产业智能官

大数据理念从被炒火至今一直持续着热度，很多企业也开始抱着理性的态度去看待大数据分析，在笔者之前的文章中曾写道，大数据并不是适合所有企业，即使要做大数据分析，也要有一套正确的理念和落地方案，包括：意识行动、数据思维、结合自身等。本文主要假设企业已经具备数据思维、大数据意识等能力模型，并在此基础上进行大数据分析建设，针对信息化建设上的大数据实施前提、实施过程、方法等与大家交流分享。

前置条件

所谓大数据分析，顾名思义是对海量数据进行分析，多指行业、产业、国计民生、社交网络数据，即使面向内部，也需要具有大量的数据供分析，否则大数据分析对于企业来说只是伪命题。不排除很多巨型体量的企业具有充足的数据量，具备建设能力，但也需要了解必备的前置条件。

1.目标明确

面对大数据治理企业需要具有明确的目标，而不是盲目进行，首先需要了解大数据的真正含义及与企业当前发展阶段的匹配程度，之后明确企业现有信息化状况、业务流程、部门关系，梳理出如何做才能更好的支撑/构建大数据分析平台，并逐步推进，最后摆正对大数据的预期，理性、长远、全局的看待大数据所带来的成果。

2.数据来源

大数据分析是指对规模巨大的数据进行分析，在处理企业内部数据同时对外部数据进行采集、存储、分析。大数据分析的最终目的是为企业运营决策、风险管控带来支撑，分析平台首先需要围绕企业内部信息化系统中数据进行分析，所以在构建大数据分析平台前，企业需要有足够的信息化系统供于分析。

3.数据集成

很多企业认为大数据分析平台可以解决当前信息化建设一切问题，如在数据分析同时，有效整合现有系统、遗留系统、外部应用数据；可以有效降低企业信息化建设成本，提高员工办公效率等。事实上大数据分析是无法解决上述问题的，建设前企业需要先进行数据集成、应用集成等操作，消除企业系统内外部、尤其内部的信息系统孤岛。

4.数据质量

很多企业认为大数据分析是对数据治理后再进行分析，这种想法是错误的，大数据分析所指的数据处理是对抽取到的数据进行分析、配置、展现，而数据治理作为大数据分析的前提，从数据源头开始，保证数据的一致性、完整性、准确性，真正的数据治理需要专业的数据治理工具，如MDM主数据管理系统来从源头上保障数据质量。

建设步骤

1.数据治理

只有建立完备的数据治理体系，企业才能真正享受大数据分析带来的好处，数据治理已经成为规范企业数据的必要步骤，它可以保证分析使用的数据的准确性，保证分析出的结果是真实可靠的，大数据分析中所需的数据治理分为主数据治理和元数据治理。

>>>>主数据治理

主数据治理主要使用MDM主数据管理工具进行，在主数据治理中又分为操作型主数据和分析型主数据，无论从大数据分析准确性角度来看还是从企业IT治理长远角度来看，都推荐企业进行全面的操作型主数据治理，如果企业只想对部分数据进行主题分析，可以采用分析型主数据治理的模式进行。

操作型主数据治理

操作型主数据治理将MDM主数据管理系统作为数据源头，企业系统中数据统一在MDM中维护，对于没有数据源的数据，可以通过手工录入或数据导入的形式录入MDM，之后通过编码规则、数据校验等功能对数据进行校验、查重、匹配、合并等操作，保证可用数据的一致性、完整性、准确性。这样以来，MDM作为数据源系统，企业其它应用系统变为消费系统，由MDM统一将数据分发同步至各业务系统（包括数据仓库），不仅用于支撑数据决策分析，还可以保证企业内部系统质量，为深度数据集成、深度应用集成奠定基础。

分析型主数据治理

分析型主数据治理是将企业各个应用系统中需要进行分析的主数据统一推送至MDM系统当中，数据的源头仍为企业各个应用系统，数据在各自对应的系统中进行维护，推送至MDM后，由MDM对数据进行校验、查重、匹配、合并等操作，之后将干净的数据同步至数据仓库的维表中用于支持决策分析。分析性主数据管理主要是为数据仓库、商业智能来做支撑，相对操作型主数据管理来说短平快，但因为没有从源头来进行数据治理，效果止于数据分析，不能对企业IT治理起到全面、深刻、长远的影响。

>>>>元数据管理

百度百科中给出的元数据解释为描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

元数据管理不只是存在于数据分析之中，主数据管理中也有对基础数据的元数据管理。而对于数据分析场景，元数据治理主要用来明确业务数据从哪里来、谁来使用、明确数据间的关联，元数据管理也是数据分析中重要步骤之一，元数据治理可以提供数据源管理、分析数据血缘关系、分析数据影响等，实现对复杂的数据环境监控管理，为企业提供安全可信的数据，为数据仓库的运行与维护提供有效支撑。

2.数据建模

在大数据分析中，数据建模是一种用于定义和分析，数据要求与其需要的相应支持的信息系统的过程，运用数学模型去挖掘数据中隐藏的价值和规则。数据建模的过程通常包括确定数据及其相关过程、定义数据、确保数据的完整性、定义操作过程、选择数据存储技术，在大数据分析中包括数仓建模和分析建模。

>>>>数仓建模

数仓建模是大数据分析中针对特定的数据仓库应用系统构建的一种特定的数据模型，包括业务建模、领域建模、逻辑建模。首先从业务层面理清各个部门之间的业务联系，梳理具体业务流程，先后顺序等，最终将其程序化；之后对业务模型逻辑进行抽象处理，定义数据存储模式的同时实现对数仓中的事实表及维表创建，定义数据的分析模型；最后配置事实表与维表的关联关系，事实表中的数据字段与度量字段与业务字段的关联关系等。

>>>>分析建模

当企业具备大量数据，之后就是对这些数据进行分析，通过建立数据分析模型找到蕴藏在数据下面的客观规律，挖掘数据价值。分析模型就是对客观事物或现象的一种描述，数据在分析建模功能中进行数据分析模型的配置、分组等管理。技术上通常需要对立方体和数据集进行配置，立方体配置支持三维、多维立方体，同时立方体与数据集之间可以相互转换；数据集配置可以根据选择定义自动生成对应的数据集模型，如：SQL原生数据集、接口定义数据集，Schema&Cube转换生成数据集等。

3.数据采集

在大数据分析中，数据采集指分别采集内部数据（管理系统、Web系统、物理信息系统）和外部数据（行业、产业、社交、国计民生），因为大数据的数量和维度越来越多，其数据来源也各不相同，所以会存在不同的结构，如文件、XML树、关系表、视频声频等，在让数据产生价值之前，必须对数据进行采集、清洗、处理、转换，生成到一个新的数据集，数据采集过程指业务系统到ODS/前置机。

>>>>传统模式

传统的数据采集模式相对单一，通常通过企业服务总线ESB和ETL数据采集，或为两者结合模式，大多采用关系型数据库与数据仓库一同实现，两者都具备数据采集、传输、转换的功能，可根据企业不同业务场景进行选择使用。ESB主要用于实现并发大、发生频率高的数据，进行实时采集传输至ODS中，ETL主要用于结构化数据的采集，以轮询/定时的方式抽取数据至ODS中进行处理。

>>>>现代方式

在大数据分析下的数据采集传输方式通常在传输过程中将已经清洗的数据直接推送至DW中，主流采集工具为Flume和Sqoop。Sqoop可以高效、可控的利用资源，将Hadoop和关系型数据库中的数据批量间相互转移，用于离线计算，其支持 MySQL，Oracle，Postgres等。

Flume可以对分布式的海量日志采集、聚合和传输，将应用产生的数据存储到任何集中存储器中，如HDFS，HBase，当收集数据的速度超过将写入数据的时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据。

4.数据汇聚

数据汇聚指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型，通过数据分析算法，进行数据统计分析、实时流处理，机器学习和图计算等。

>>>>数仓汇聚

数据仓库汇聚是指数据从ODS至EDW的过程，即将不同业务系统的数据从中间库加载至数据仓库中，一般情况下，数据汇聚具有多种实现方式，主要将各个分散业务系统的数据推送至ODS中，在ODS中进行整合、处理，形成面向主题的、集成的、清洗的、详细的运营数据，并按照业务需要和性能要求进行组织、存储，最终将ODS中处理好的运营数据通过数据传输工具传输至EDW中，为数据分析提供服务。

>>>>海量数据

在大数据分析技术下，对于海量数据的汇聚可以选择调度方式（ESB/ETL）来实现，通过调用ESB中的Timer、Http流程及Rest服务或者使用ETL中的任务job和转换transformation进行数据处理、以及Flume和Sqoop等工具，实现实时采集、数据调度，完成数据的采集、转存、汇聚、填充，实现业务系统到ODS、ODS到DW的过程以及ODS到MDM的数据交互等。

5.分析配置

大数据分析中的分析配置是为大数据分析展现而配置的，泛指导航配置、菜单配置、页面配置等，主要配置页面的展现内容及展现形式，例如：展现哪些数据、以什么样式的图表进行展现等，通过选择分析模型以及相应的数据，与组件结合形成组件实例，为企业领导层级业务层的决策提供数据分析。

>>>>导航菜单

导航菜单配置主要根据领导层级与业务部门层级的不同，配置对应的导航，每个导航能够通过选择主题，配置整体的布局样式，在同一个导航下通过创建不同的菜单实现对页面的统一管理。通常根据公司业务与领导层的区别，分别提供不同的导航，如：董事会的公司决策导航、总经理、副总经理的业务分析导航、部门经理的部门决策导航等，在每个导航中可以进行主题、布局、个性主题等基本信息。

>>>>页面配置

页面配置主要对大数据分析平台系统的主题进行管理，根据用户实际需求对主题进行配置管理，设置页面的整体样式，如：背景颜色、页面大小等，为最终用户提供数据展现，配置后的页面支持在手机端、PC端使用，宽度自适应，自动进行页面大小的适配。页面配置在每个容器内通过选择分析模型和数据立方体获取相应立方体的配置信息，指定立方体内相关的指标行和列，从而形成多维的数据表格，根据组件管理中配置的组件构成动态的组件实例完成页面的配置。

6.数据展现

数据展现主要将转换汇总后的数据以可视化的形式直观的展现在用户面前，相比传统使用表格或文档展现数据的方式，大数据分析中的展现形式根据不同行业的业务场景更具有多样化、丰富化，同时包括自定义指标、表单查询等功能，可以满足用户不同的展示和分析需求。

>>>>业务主题

面对不同行业的业务领域，从企业决策和运营管理需要出发，以企业的实际需求为切入点，梳理业务流程，构建不同的业务分析主题，通常有财务主题，对项目损益、利润、现金流量、应收账款等指标进行分析；运营主题，对节点计划完成对比、销售目标达成、关键节点完成等指标进行分析；人力主题，对人工总成本、薪资福利成本、人员变动率等指标进行分析；营销主题，销售业务、货值、价格、客户特征等指标进行分析。

>>>>交互方式

大数据除饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表展现形式之外，还具备多种交互方式。例如：行列转置，将行列维度互相切换以便于进行数据分析；钻取联动，支持图表的多层级钻取，以层层穿透钻取的方式，使用户利用数据推动决策。同时，在交互方式上针对用户的操作方式、习惯，模拟推算用户的分析习惯，提供更友好、更具有针对性的交互服务。

建设意见

1.统筹规划

企业的信息化建设并不是一步到位的，而是需要统筹规划分步实施的，大数据平台的构建所属于企业整体信息化建设中的一部分，所以在构建之前，必须要规划出一个清晰的整体架构，这样才能保证业务流程相互运转、信息化系统合理支撑、构建步骤有条不紊，逐步深入推进。

如上图所示，企业信息化统筹建设通常分为四个阶段，分别为系统集成期，进行SOA综合集成整体规划，搭建统一平台框架、构建集成标准规范，为后续集成奠定基础；数据治理期，对数据统一治理的同时结合数据展示工具，实现企业内部决策分析；流程管控期，深化数据集成、应用集成，打通企业整体业务流程，全面实现大数据决策分析；价值上升期，企业信息化价值得以彰显，并不断为企业带来利益，通过持续的迭代推进，支撑后续新技术引进，引领企业信息化时代的同步发展。

2.结合业务

无论是做产品还是做项目，理解深度决定应用深度，应用深度决定价值高度，大数据分析项目也是这样，若想基于大数据分析结果为企业带来价值，必定要贴近业务，不做无本之源。如果不重视业务间的差异化，不从自身业务角度去考虑规划，很难保障大数据建设项目顺利推进。

无论对企业来说还是对实施方来说，大数据分析项目的重点在分析配置、效果展现，但难点在业务梳理、逻辑关系。根据上述情况一般分为三步：首先，通过全面的需求调研和评估，将业务需求整理并转化成数据分析中需要解决的问题，进行罗列；之后根据需求间的逻辑关系，进行常规的数据治理、数据建模、分析建模、主题配置等工具；最终进行数据分析的展现，为企业带来真切的价值。在大数据分析建设的道路上，企业需要依托专业的、有实力的厂商团队，从业务开始梳理，理清部门间、系统间业务关系，谁与谁交互、谁用谁的数据、彼此之间的流转、联系等，之后进行总结、推演、扩展，最终形成可落地、易推行的实现方案。

3.步骤明确

大数据分析技术的引进的确能为企业带来决策分析上的支持，但并不是所有企业都适合，如开头所阐述的治理前提一样，必须具备一定的条件，不能本末倒置为追赶形势而构建大数据分析平台。通常情况下，对于大数据平台的建设是分阶段进行的，如下图所示，灰色部分为企业既有的信息化现状，在此基础上进行大数据阶段建设。

初期进行企业信息化中较为基本的建设，即基础数据治理、异构系统整合、门户平台搭建、数据门户搭建，为大数据分析平台奠定基础环境的同时，以数据不落地的形式完成企业内部系统间简单的决策分析；第二阶段加强数据治理、数据集成、深度应用集成建设，扩大数据治理范围，构建企业数据分析平台、数据仓库，实现数据在企业范围内的流转，并将数据分析结果以多种方式展现；最后全面实现大数据分析平台建设，实现企业上下游、内外部数据联动，决策分析。

4.顺势而为

IT时代新技术、新理念、新平台不断出新，同样对于大数据建设，盲目追新显然不可取，构建不得力，荒废或调整的成本远超于建设成本，一定程度上会造成企业对大数据治理效果的怀疑及浇灭对IT建设的积极性，要保持理性，顺势而为，在进行大数据治理前首先要考虑企业的IT现状及当前业务发展阶段，在确定与当前业务的适用性、可行性；使用产品的稳定性、扩展性；保证方案的专业性、安全性之后再去考虑建设，分阶段逐步进行更行之有效。

虽然有些企业当前并不具备大数据分析建设的条件，但不影响其对大数据的规划和前期的准备，信息化建设是必不可少的，后续会进行讲解，这里不做多余赘述。除信息化支撑之外，管理者的建设意识、重视程度及全体员工对大数据建设的支持也是必不可少的，培养一种将数据思维、分析意识融入公司的文化、体系建设之中，摆脱依靠直觉与经验，确保后续大数据建设开展。

本文由数通畅联原创，欢迎转发，仅供学习交流使用,引用请注明出处！谢谢！

中国外运主数据管理探索与实践

转自：大数据技术标准推进委员会

科学的数据资产管理模式对于企业具有非常重要的意义。现有的方法多种多样，其中“主数据管理”是数据资产管理实践方式的重要切入方法之一。

为进一步促进数据资产价值相关问题的研究交流，2018年12月13日，由中国信息通信研究院、中国通信标准化协会主办，TC601大数据技术标准推进委员会承办的“2018数据资产管理大会”在京召开。中国外运信息标准化办公室副主任宋清波进行了题目为《中国外运主数据管理探索与实践》的演讲。

宋清波

他介绍了中国外运自2006年开始在数据管理方面的不断探索与实践，从亲历者的角度介绍了主数据管理的原因、实施、维护，并且强调了数据管理中的难点、痛点，介绍了主数据的两个应用场景。

以下为演讲实录

大家下午好，今天我是作为企业进行主数据管理落地与实践的一个亲历者的身份，来与大家分享“中国外运主数据管理探索和实施”。

我先大概介绍一下我们公司——中国外运股份有限公司（简称“中国外运”）成立于2002年11月20日，并于2003年2月13日在香港成功上市（H00598），是招商局集团控股的二级子公司和物流业务的统一运营平台，截至2017年底，中国外运拥有总资产622.87亿元人民币、净资产258.35亿元人民币、在册员工23971人。中国外运的服务网络覆盖全国，遍及全球主要经济带，是中国最大的综合物流整合商，是国家5A级综合物流企业。

从2006年开始，我们就开始研究和尝试数据统一管理和应用，但由于因数据标准不统一而造成的数据质量问题一直困扰着我们，为了解决这个问题，我们不断地想办法，但考虑到应用系统很多，一直没有下决心从源头上解决这个问题。直到2013年，我们启动了信息标准化工作，尝试通过标准化从源头上解决各系统数据标准不统一的问题，但标准如何落地并得到有效执行又成为了新问题。2015年，我们原来的上级单位——中国外运长航集团开始实施主数据管理，这给了我们新的启示，决定用主数据管理来解决数据不标准、不统一的问题，并于2016年启动了主数据管理项目，正式开启了中国外运主数据管理和应用这项关键性工作。项目进行到现在，已将完成了两期，制定了主数据标准体系和管控体系、搭建了统一的主数据管理和服务平台、构建了8大类共120万条记录的主数据代码库、实现了总部和各下属公司共60多个主要业务系统主数据应用全覆盖，实现了各业务系统主数据的统一；同时，通过结算管理（BMS）和数据治理平台对主数据应用质量进行稽核，实现有效管控。明年，我们将继续项目三期的实施工作，完成设备物料类主数据的实施，并将主数据管理延伸到数据指标和元数据管理。

下面我将结合我们思考与实践，借这个机会与各位朋友对主数据管理做一个分享和交流。

一、为什么要做主数据管理

作为一个企业或其他单位，为什么要做主数据管理，这件事情能解决企业什么问题，能给企业带来什么价值，这是实施主数据管理必须回答的问题。得益于以前探索的路比较长，我们对做主数据管理目的还是比较明确的，就是要解决这几个问题：一是统一数据标准，打通数据关联，解决信息孤岛的数据烟囱问题；二是确保各核心数据的一致性、完整性，解决数据不统一、不完整等问题，有效提升数据质量；三是实现主数据统管、共享，接管各系统基础数据管理，提高效率、降低成本；规范数据管理流程，升级安全策略，提高数据安全。

二、如何有效实施主数据管理

我们在具体实践中将实施主数据管理主要有5个步骤：一是做好规划，二是定好标准、三是建好平台，四是构建代码库，五是建立完整的管控体系。

1.做好规划

要构建完整的主数据管理体系，有效实施主数据管理是一个系统工程，涉及到统一标准、统一平台、统一管理、统一服务等等，没有顶层设计很难行得通，所以做好规划、绘制出一张好的蓝图非常重要。我们在做规划时主要针对这样几个问题：一是我们的主数据在哪里；二是需要主数据管理需要哪些标准；三是实施主数据管理需要依托什么样技术平台；四是需要构建什么样的一个管理的体系；五是主数据管理需要遵循那些规范性要求等等。同时，要设计好实施路线图，要根据实施能力和进度要求，确定好先做什么、后做什么，以及分几个阶段，每个阶段都具体实施哪些内容等。

通过规划，我们确定了13大类主数据清单，明确了“一个平台、两项要求、三大体系”总体架构和 “总体规划、分步实施、集中管控、持续推进”的实施原则，提出“利用三年的时间构建出中国外运完整的主数据管理体系”的总要求。

2.定标准、构建标准体系

主数据跨系统、跨业务共享的数据，必须通过标准在全局范围内达成一致，才能有效实施主数据管理并得到有效利用。这些标准既包括主数据代码标准，又包括管控标准和技术标准等。当然我们构建这些标准体系并非一下都完成，而是先搭个框架，然后再随着主数据实施的完善，逐步代码的明细表和管控的细则。这些标准是实施主数据管理的重要基础，没有这些标准，主数据管理就没有依据。

3.搭建主数据管理平台

这是实施主数据管理的重要环节。主数据管理涉及标准管理、流程管理、主数据全生命周期管理、监控与评价管理等，而且需要不同组织、不同角色协同，没有信息系统或平台很难实施统一管理管理，所以要实现主数据统一管理必须建设统一的主数据管理平台。而且，从具体实践来看，主数据管理平台既是主数据管理的载体，也是提供主数据服务的源头。主数据平台主要功包括：标准管理、主数据全生命周期管理、流程管理和主数据服务等。主数据平台是实施主数据管理的载体和手段，利用主数据平台可以有效实施主数据统一管理，没有平台支撑，主数据管理很难落地。

4.构建主数据代码库

主数据管理的结果，就是要形成一个完整统一、准确有效的主数据代码库。主数据代码库我们又称为主数据基准库，所有主数据都必须以代码库数据为基准，确保主数据的一致性和有效性。主数据代码库是伴随着主数据管理过程形成的，但一些通用标准（国际标准、国家标准、行业标准等）需要通过一些渠道经查证后获取这些标准数据，加入我们的主数据代码库。我们根据公司主数据管理需求，计划构建13大类主数据代码库，覆盖公司业务和管理的各个领域，目前已经完成的有8个大类，后续会继续完成另外5个大类的实施。

5、构建主数据管理与服务体系

有了主数据管理平台只是拥有了技术工具，如何实施管理，还需要配套的管理体系来运作主数据管理。从我们目前的实践来看，构建完善的主数据管理体系，是主数据管理的重要保障，要从组织、人员、职责、流程、评价、考核等各方面统筹设计和实施。特别是在管理推动方面，最好要有跨组织、跨业务、跨职能的公司级组织来推动和领导，通过主数据管理专门小组或团队来具体实施，因为主数据管理涉及公司各个领域，仅仅依靠信息化部门很难推动。同时，要确定好认责机制，把每一类主数据的管理责任都明确下来，这样才便于组织和管理。另外，还要制定配套的管理制度，对每一类主数据管理的质量和时效都要设定考核KPI，实行量化管理。

三、怎样用好主数据

管理好主数据是手段，用好主数据才是目的。但对于一个集团化的企业来讲，要用好主数据确实有非常大的挑战，一是在企业内部能不能对主数据管理有普遍认同感，认同这件事情的价值和意义，否则好多人就不会接受这个东西，那就很难推行下去；二是要承受存量信息系统改造的压力，那么多系统，有的年度跨越很长，一些十多年前的系统还能不能改得动，涉及到少成本，会带来多少改造风险等等，都是棘手的问题；三是原有的数据如何清洗，如何既把数据清洗干净，又确保已有数据的关联性和可用性，等等，这些都是必须面对的挑战。

这些挑战我们都要应对好，才能把主数据推下去、用起来。首先要做好培训和引导，统一思想、统一认识，让大多数人多主数据有认同感，然后再来解决其他问题。

首先要用技术手段来解决“易用”和“好用”的问题，最大限度降低业务系统对接的难度和成本。我们通过对主数据应用场景的分析，抽象出申请、订阅、查询、即时调用和公共数据资源池等五种贴近业务场景的通用服务，业务系统可以根据不同场景选择不同的服务方式，简洁灵活、好用；同时这些服务又都通过标准协议进行封装，便于业务系统调用，实现易用；另外，我们还针对一些特殊场景提供个性化服务，满足个性化需求。这样既便于应用实施，又降低了难度和成本，对用好主数据确实起到了关键性的作用。把所有不方便都交给主数据服务平台，有主数据服务平台来解决，而不要让所有系统都受连累，这样就能确保主数据应用推得下去、用得起来。

再一个就是要做好数据清洗，确保主数据在各个系统中的“纯洁”性。其实不是我们做主数据管理时，主数据才存在的。无论我们做不做主数据管理，每个系统都有自己的主数据，那么多系统积累下来的那么多不标准、不统一的数据怎么办？必须清洗，而且要彻底清洗，这些“脏数据”不清洗干净，就会污染标准的主数据，就会破环主数据的惟一性和一致性。数据清洗既要遵从标准和基准数据，又要兼顾到历史数据对业务的影响，必要时还要在主数据层面做适当的冗余来兼容无法标准化的历史数据。通过大量的数据清洗，我们统一了客户、供应商主数据，统一了港口、地点等业务基础主数据，统一了内部组织和员工身份信息等管理基础数据。到目前为止，我们共清晰历史数据超过50万条记录，为用好主数据提供了一个好的基础。

下面我说说如何在应用过程中确保主数据一致性的问题。主数据在代码库里是是唯一的、标准的，但流向业务系统后如何确保不失真呢？我们的做法是确保主数据同源，即所有主数据必须直接来自主数据平台（含主数据服务平台），不得通过其他渠道来获得主数据，业务系统间转发也不行，因为通常情况下，业务系统使用主数据的时候都会有自己个性化的调整，包括对数据进行裁剪、归并、和增加关联等，如果相互转发就会造成失真。为了强化主数据在使用过程中一致性，接下来我们正在考虑搭建统一主数据服务平台，利用高速缓存和智能索引等技术手段实现即时检索、即时调用，所有的业务系统直接使用主数据资源池的数据，而不再使用本地的数据副本，也不允许存在本地副本，这样才能确保主数据的一致性。还有一点，我们的主数据都要在线使用，不允许离线使用，这样便于监控和管理。

主数运维和服务也是用好主数据的重要手段。业务系统把主数据服务都接上了，但请求没有得到及时响应，数据同步异常得不到及时解决，数据失效了也没人处理，这主数据也没法用起来。所以我们专门成立了主数据运维服务团队，一方面确保系统稳定运行，对故障和异常进行及时处理，同时对各种应用请求、数据更新等事务性工作都安排准人进行处理，并有严格的质量和时效的KPI，以确保即使相应服务到位。

最后一点，就是要强化管理。从制度、流程、管理三个方面来进行约束，而且制度要严、措施要实。为此，我们出台了《主数据管理办法》，并在《标准化管理办法》中专门讲主数据应用作为信息系统标准化评审的重要内容。同时，我们在预算审批、项目评审验收、系统上线、资源配置等环节都增加了主数据应用的考量，对不达标的处理也十分严格。明确三道关：把严应用系统验收关，严格执行主数据专项评审制度，评审不合格不得验收、不得上线；把严应用系统集成关，不使用主数据标准代码的系统不能与其他系统集成；把严考核IT预算审批关，不使用主数据的系统，不批准升级改造预算。另外，我们在重要的总部管理系统（包括主数据平台、CRM、OMS、BMS、BI等，简称MCOBB）都设有主数据一致性校验功能，对各系统的主数据应用质量进行稽核和监督。

抓住这几个关键点，把主数据“推下去、用起来”就会顺利的多，短短一年多的时间，我们已经将主数据推广到各级公司的60多个主要业务系统，基本实现全覆盖。

下面我用两分钟介绍两个具体的主数据应用场景。一个就是利用员工主数据驱动员工身份信息管理自动化，包括统一用户目录管理、办公场楼门禁管理、企业邮箱管理、企业微信通讯录管理等，取得了非常好的效果。以前这些工作都是由各系统指定的管理员进行管理，不但费时费力，而且相应不及时，数据差错率也很高。以邮件系统为例，总部和各子公司共有20多位管理员负责员工企业邮箱管理，由于员工的入职、离职和日常变动信息难以及时准确获取，只能靠线下一个审批流转单办理，漏办、错办情况经常发生，而且在入职高峰时，管理员根本处理不过来，有时需要一个星期才能开通邮箱，员工日常变动数据更新更是无暇顾及，日积月累失效数据、错误数据成堆，不但浪费了资源，而且还存在严重信息安全隐患。启用主数据驱动自动化管理后，只保留总部一个管理员，员工入职在HR系统完成信息录入后，只需几分钟就开通邮箱、开通统一用户身份、配好门禁、创建好企业微信通讯录。而且只要HR数据没问题，应用端就100%没问题，时效性和准确性都非常好。这就是我们的主数据管理应用的一个真实场景。

第二个场景利用主数据实现客户、供应商和结算对象的统一管理。因为我们是从事物流行业的，作为服务中间商，我们的客户和供应商都很多，涉及的行业和领域也比较杂，尽管有统一管理，但一直没能真正实现统一，因为客户、供应商和结算对象的创建和管理在各业务系统进行，然后再报备到总部CDH，当一个客户在不同的业务系统拥有不同的代码和名称时，CDH也难以归并，造成重复，这就增加了我们的信控风险。同时，由于缺乏正是数据的核验，客户、供应商、结算对象关键信息准确性和身份的真实性无法的验证，这也会给我们带来很大的风险隐患。为了彻底解决这些问题，我们以主数据应用为基础，专门实施了外部单位（客户、供应商、结算对象）统一管理流程。所有外部单位按照不同角色集中到CRM、SRM和BMS进行统一管理，并通过主数据核验数据的惟一性、真实性和有效性，各业务系统只能调用申请服务提交创建申请，但不能在本地创建客户、供应商和结算对象，由CRM、SRM和BMS通过主数据核验后按照管理流程创建，创建完后的数据同步到主数据平台，各业务系统通过消息驱动调用数据服务接口引用相应的数据。按照这个流程创建的每一个客户、供应商和结算对象都是经过主数据核验过的，其惟一性、真实性和数据准确性都得到了保障，同时每个业务系统都引用主数据的数据，确保系统间数据的一致性，真正实现了统一管理。由于时间关系，就分享到这里，谢谢大家。

工业互联网

产业智能官 AI-CPS

加入知识星球“产业智能研究院”：先进产业OT（工艺+自动化+机器人+新能源+精益）技术和新一代信息IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的机器智能认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。