【大数据】主数据管理：打造大数据时代企业核心竞争力

主数据用来描述企业核心业务实体，是在整个企业范围内的各个操作型应用系统（OLTP）和分析型应用系统(OLAP)间需要共享的数据，也是企业内部能够跨业务、跨系统重复使用的高价值数据，其特点是基于业务、长生命周期、跨系统使用。

@文丨中车信息公司

        如今，数据已经渗透到每个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者浪潮的到来，整个世界已经迎来了大数据时代。2012年调查结果显示，到2020年，人类产生的数据总量将达到40ZB，全世界所产生的数据规模将达到今天的44倍。在数据驱动的信息化时代，企业只有将核心业务数据更好地掌握在手中，才能从中萃取更大的业务价值，进而优化品牌管理，打开市场新渠道，打造企业核心竞争力，而主数据管理（Master Data Management，简称MDM）就是挖掘这些价值的重要手段和工具。

 

　　主数据管理日趋重要

 

　　主数据管理其实在很早之前就已经存在，但对于国内许多企业用户来讲，它仍然是个比较陌生的名词，本文将引领大家走近主数据管理。

 

　　主数据用来描述企业核心业务实体，是在整个企业范围内的各个操作型应用系统（OLTP）和分析型应用系统(OLAP)间需要共享的数据，也是企业内部能够跨业务、跨系统重复使用的高价值数据，其特点是基于业务、长生命周期、跨系统使用。需要注意的是，主数据并不是企业内所有的业务数据，而是有必要在各个系统间共享的数据才是主数据。比如大部分的交易数据、账单数据等都不是主数据。涵盖资源、产品、事件、客户、财务、账户、员工、合作伙伴等，用于描述核心业务实体的数据才是主数据。因此，对主数据的识别，要把握主数据作为业务运作核心的本质。这些主数据在进行主数据管理之前经常存在于多个异构或同构系统中。

 

　　主数据管理是指一组规程、技术和解决方案，用来保证业务数据在企业范围内的一致性、完整性、相关性和精确性。简单地说，主数据管理可以帮助企业从分散的业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，然后以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的系统或应用。主数据管理也可以作为一个企业的数据标准，强化对各业务系统的共性数据实体和模型的管理，避免出现大的业务概念不一致，降低应用孤岛、数据孤岛出现的几率，从根本上保证系统之间能实现数据的较好共享，增强了各系统在企业层面的互动，从而提高企业运营效益，提高数据质量，更好地为企业信息集成做好铺垫。

 

　　现今，随着大数据洪水的迅猛到来，企业深刻意识到核心数据资源的价值。核心数据资源具有稀缺性和差异性，势必成为企业的一大竞争优势。

 

　　主数据管理给企业所带来的价值有三大方面。

 

　　1.与大数据相得益彰

 

　　主数据和大数据的核心都是数据，但它们的关注点有所不同。大数据关注数据的体量和类型，而主数据则更关注数据的质量；大数据提供了更多的原材料，而主数据侧重于数据的组织。企业应以主数据为中心，通过主数据把各类大数据有效串联起来，从而获得更好数据应用效果和价值。

 

　　2.多方面业务价值

 

　　主数据管理让企业将拥有统一的主数据访问接口，拥有集中的且内容丰富和干净的数据中心，能够为各业务部门提供一致、完整的共享信息平台，为业务流程和经营决策提供了一个可靠的支撑载体。

 

　　3.增强IT建设灵活性

 

　　主数据管理可以增强IT结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的变化，同时，降低接口成本、数据清洗和维护成本等，帮助企业远离高成本和高风险。

 

　　主数据管理的规划实施

 

　　1.构建主数据管理的解决方案

 

　　虽然企业越来越看到主数据的价值，但往往不知从何下手，如何实施。为保证企业能够有条不紊地实施项目，建议企业根据规划方法论，分阶段、分步骤开展工作。比如Informatica MDM产品解决方案，它把主数据生命周期划分为9个阶段。

 

　　● 访问：了解主数据的来源、现状，实现不同数据源和应用程序的数据集成方案，这是主数据获取的入口。

 

　　● 发现：探查数据内容、结构和异常，分析数据的优势和劣势，一个关键目标就是明确指出数据错误和问题。

 

　　● 建模：建立正确、灵活的MDM业务及数据模型，可以有效面对未来的变化和挑战，模型是项目走向成功的一个重要里程碑。

 

　　● 清洗：对于各系统数据出现不一致的定义及使用方式时，需要解决错误和矛盾之处，创建正确、完整的主数据。

 

　　● 识别：快速匹配，准确识别重复数据并预防重复发生。

 

　　● 解决：合并重复数据，创建可信的唯一真实版本。

 

　　● 关联：实现与合作伙伴系统、第三方软件、外部产品的广泛数据连接。

 

　　● 治理：创建、使用、管理和监控主数据，保证可对数据问题进行跟踪，同时保证长期满足数据质量预期。

 

　　● 交付：以服务的方式把统一、完整、准确的主数据分发给企业范围内需要使用这些数据的业务系统、业务流程和决策支持系统。

 

　　这是一个循环往复的过程，当有新的主数据出现或经过几大阶段治理后的主数据仍未达到质量要求时，主数据管理都会进入下一轮循环。数据治理的过程贯穿于整个生命周期，体现了主数据对于数据质量的管控作用。

 

　　2.实施过程中应注意的问题

 

　　1）主数据管理不是一个单纯的技术项目

 

　　主数据管理常常被误解为一个单纯的技术问题，而实际上企业采用主数据方案最重要的不是技术准备，而是业务准备。企业在上马项目时，首先要先考虑清楚项目所要达到的目的、目标和愿景。在企业内部贯彻实施统一的数据标准化，需要文化、制度、业务、流程等全方位的配合和改造，需要业务部门之间的沟通和协调，需要企业高层、行业专家、领域专家以及业务人员的认同和参与。也就是说，主数据管理实质上是个管理问题。

 

　　2）主数据管理是一个持续建设的过程

 

　　主数据问题很难一次性解决，因而造成项目复杂度高、工期长、耗费大的问题，建设前期对于企业来说感知不明显，容易遭到质疑。因此建议企业采取渐进的方式来建设，先基础、后深化，先局部、后覆盖，这样让企业逐步尝到主数据带来的甜头。第一期项目可以从小规模入手（比如选择一个业务领域），一个业务领域成功会带动更多业务领域参与，前期的成功会成为后续实施的推升动力。

 

　　3）模型设计是基石

 

　　企业的业务需求不会是一成不变的，随着外部因素（如市场环境的变化、产业的更新换代）、内部因素（如经营模式的转变、组织架构的优化）的变化和影响，系统将面对更多适应性和可柔性方面的挑战。因而，对于主数据模型的设计者来说，必须要建立一个灵活的模型，特别是对未来更多类型主数据的支持，当一些变化发生时，不能对以后的模型产生较大的冲击和影响。成功的项目不仅能够解决现在的业务需求，还要能够满足未来的需求。

 

　　主数据管理的发展趋势

 

　　1.与新技术发展趋势相结合

 

　　云计算、社交计算和移动计算三大技术趋势正在驱动大数据不可阻挡的增长态势。目前，一些主流MDM软件可以针对云中数据、社交数据、移动数据等不同类型的数据进行有效管理。在未来，支持不同移动终端接入，采用云中部署、混合部署等新模式的主数据管理多域部署情况将更加普遍。

 

　　通过云计算MDM，有效解决云中分散数据碎片化现象，保持数据净化状态；保证跨越云及内部应用的数据整合，无论是在云端还是在本地，都可以带来完整、可信的客户交互及主数据关系视角。

 

　　通过社交MDM，解决跨越多个社交媒体间客户识别问题，创建出统一的客户社交资料，挖掘客户的社交网络以及喜好，从而更有效地进行针对性营销，以及为零售商、生产商、服务提供商等提供目标客户推荐服务，以此形成更为紧密、更具盈利性的客户关系。

 

　　通过移动MDM，提供随时随地接入的客户交易数据、社交数据及主数据。将清晰、完整、可信的客户资料与移动设备的位置服务相结合，为销售人员及服务人员提供指定位置的客户信息。

 

　　2.为大数据插上飞翔的翅膀

 

　　未来，MDM平台将逐步实现与大数据的无缝集成，为大数据提供一系列全面、先进、成熟的数据管理解决方案，为企业用户迎接“集成化的大数据时代”做好了准备。

 

　　提升企业数据的集成和管理能力，将数据集成扩展到社交媒体数据、网络日志、传感器设备数据、文档、电子邮件、其他无编码格式的多结构化或非结构化数据，显著减少浪费在垃圾资料的时间，有效降低大数据开发、维护成本。

 

　　实现从传统数据架构平台扩展到Hadoop，把Hadoop技术通过一种透明的方式呈现给用户，企业将不再需要复杂的手动编码来实现Hadoop的性能和成本优势。这不仅帮助企业更轻松地管理和支持多个大数据项目，确保最佳的端到端性能和部署，还可以使数据便捷地在 Hadoop环境或传统网格计算环境中运行。

 

　　引入了内存处理的能力，数据处理性能更快。所谓“内存处理”，就是把主数据的处理操作从传统的数据库迁移到内存计算，有望实现最高上达百倍的能力提升，实现在大数据中快速解决个体识别问题，高效完成大批量数据清洗。同时大幅降低了客户的硬件部署成本，以更佳的成本效益方式提升大数据项目的投资回报。

 

　　结束语

 

　　在全新的数据时代，大数据的核心问题不是数量大，而是质量高。把主数据管理解决方案作为大数据背景下的企业数据治理和提升数据质量的工具，可以确保核心数据的质量和真实性，企业可以更好地洞悉业务数据中所隐藏的价值，真正把大数据转化为大机遇。

---

MDM在IT基础结构中的角色和挑战

MDM不应该是一个自底向上的战术项目，企业必须要有一套战略的MDM计划。企业应该建立一个全企业范围的主数据管理，真正去解决主数据问题，而不应该为了减小企业主数据问题而在原有系统上修修改改。

@文|  中车信息公司整理

 

MDM在IT基础结构中的角色

MDM系统、应用及服务经常作为已存在的业务处理系统和商业智能系统在战术上的扩展。但是，为了企业的发展，一个从战略层面上考虑的MDM方案应该被单独的提出来，这个方案应该是全企业范围的，应该有企业的高层支持。这个MDM系统应该作为主数据的有效资源，给其他IT系统提供主数据。它不应该只在已有的IT应用上进行调整，也不应该为了解决一些问题而建立成分散的主数据管理应用。

MDM不应该是一个自底向上的战术项目，企业必须要有一套战略的MDM计划。企业应该建立一个全企业范围的主数据管理，真正去解决主数据问题，而不应该为了减小企业主数据问题而在原有系统上修修改改。

MDM的技术挑战

第一个挑战是要建立一个灵活的MDM业务及数据模型。这个模型是我们走向成功的路线图。我们永远也不能收集全企业内需要的所有的主数据。这个对主数据的需求会随着时间而发生变化，如随着业务的改变、市场方向的变化及企业文化的变化等发生变化。因为，对于主数据模型的设计者来说，必须要建立一个灵活的模型，当一些变化发生时，不能对以后的模型产生较大的影响。有些MDM供应商可以提供可定制的行业模板及数据模型，这对我们开始MDM项目很有帮助。

第二个挑战是关于主数据质量的管理问题。数据质量包括标识和定义所有的主数据属性，对这些属性的质量进行评估并更正存在的问题。这是一个非常重要的任务，尤其是对于企业内各个部门之间的数据出现不一致的定义及使用方式时，这时需要对数据进行一致性处理。数据质量处理有两种方案，第一种是在MDM方案开始实施时，所有的数据源都先进行数据质量清洗；第二种方案是在MDM方案中一个一个的清洗来自各个数据源的数据。当数据源的数据发生变化时，同样的数据质量清洗操作也需要进行。市场上有很多数据质量和数据概况分析工具可以为我们提供帮助。对于一些特殊类型的主数据实体，也有特殊的工具可以帮助我们进行数据处理，如地址模式匹配，对产品进行语义分析等。

第三个挑战是由于主数据发生变化而引起的。就像主数据模型需要保持灵活性来接受新的主数据属性一样，MDM应用也必须具有处理复杂变化的能力，这种变化不光包括数据内容的变化，还包括数据的层级结构、数据之间的关联关系以及在数据之间建立新业务规则等内容的变化。变化是不可避免的，因此，当我们选择一个MDM技术时，要确定当发生变化时，这个技术的处理不应该很复杂。

第四个挑战是如何将SOE从操作型系统中迁移到MDM系统中，这需要同时面对文化和技术上的挑战。技术上的挑战是要保证将SOE从操作型系统迁移到MDM的过程要顺畅，不要出现各种问题。当越来越多的SOE迁移到MDM环境时，相应的操作型系统中的录入功能要禁止掉，否则会出现重复录入的问题。如果一个SOR不能迁移到MDM系统中，要保证有一个简单的方式将外部的主数据迁移入MDM系统中，来保证SOR是最新的。

MDM面临的第五个挑战是对标识的管理，尤其是对客户主数据来说。因为客户可能是全球范围的，客户之间有着复杂的关联关系，而且这些关联关系还在不断的变化中。MDM环境必须能够建立对这些客户建立唯一的标识来适应这种复杂的情况。在很多情况下，这也是文化上的问题。企业必须能够同意建立这些全球内唯一的标识来鉴别不同的客户，这样才能确保MDM维护主数据的更新和变化的功能。

MDM面临的最后一个挑战是关于MDM整个基础结构的挑战。不论MDM这个概念是新的还是旧的，都需要一套技术体系来支撑它。有很多公司都建立了部分的或者不完善的MDM解决方案。这些对供应商来说也许是好事。这些供应商一般会关注于MDM环境中的某个特定技术，对此进行研究和开发，例如进行数据质量管理等。所以，这些供应商一般都是对MDM的某个一个特定部分可以提供完善的解决方案。而企业必须要保证这些不同供应商提供的技术可以整合成一套完善的MDM基础机构。而且，由于在MDM环境中包含了大量的、复杂的、分散的数据环境和系统，这就使得MDM解决方案能提供通用的主数据整合基础结构变得至关重要。这个MDM基础结构必须要和企业的数据整合策略及方案保持一致。

有些供应商会提供包含MDM环境各个部分的完善的解决方案。在很多案例中，这些供应商都合并或者收购了提供专门技术的公司，来组成完整的解决方案。这些完整的解决方案不一定在每一个环节都是最好的，他们的优势在于可以减少由于供应商的不同而产生的数据接口和数据交互。企业需要自己来决定什么样的解决方案是适合自己的。

---

MDM |你不可不知的主数据管理

 

导 读

21世纪初，国外厂商率先提出主数据概念，并明确为‘表示业务实体对象的基准数据以及其被引用的关联属性数据’，并得到了现代化大型企业集团广泛关注。而在国内，主数据被延伸定义为‘基础档案信息中两个及两个以上业务系统共同使用到的属性字段’， 步入信息化时代，数据已经成为现代化企业发展的最宝贵的财富，作为数据治理重要支撑，主数据系统日益成为国内众多企业创新发展的战略性平台。

1

企业现存问题分析

伴随着大数据时代拉开帷幕，中国城市轨道交通领域，迎来了信息化系统建设与应用的关键节点，作为城市轨道交通工程建设、线网运营管理 、可持续高效管控的重要手段，信息化建设与应用对轨道交通企业的创新进程与精益发展具有着举足轻重的意义。城市轨道交通企业的信息系统涉及工程项目、运营维护、企业管理等诸多方面，为了实现信息系统之间的数据共享与集成，一般会借助信息规划进行数据编码和标准化。

2

主数据管理的建设意义如下：

整合企业数据信息资源，打破信息孤岛，实现信息共享，理清管理脉络。

实现了各类主数据（例如：物资主数据、客户主数据、财务类主数据等）的标准统一应用；

实现企业内部的各业务环节只存在唯一的、完整的，并且质量比较高的主数据；

提高了企业总部对下属单位的管控能力；

为未来的决策分析和报表统计提供的有力的保障和基础。

3

企业现状问题分析：

目前企业主数据管理问题主要包括：

  缺乏数据统一标准

   缺乏数据管理组织

   缺乏管理制度和流程

  缺乏数据管理工具

4

中车信息公司主数据管理建设解决方案：

中车信息公司主数据管理体系建设主要分为五个部分

1

制定数据标准  

2

数据管控组织和流程  

3

历史数据清洗  

4

建设信息标准化管理系统  

5

系统集成  

5

中车信息公司主数据实施方法论：

中车信息公司，作为企业信息化的开拓者，依托清华大学技术优势，经过多年的潜心研发，已在主数据领域拥有丰富的开发、实施经验，通过整合多年的项目实践经验，总结出一套科学、完整的实施方法论。

6

中车信息公司主数据管理系统介绍：

中车信息公司主数据管理系统，是面向大中型企业数据治理的软件平台，通过主数据管理系统的搭建与应用，为企业数据资源管理奠定了技术平台基础，实现了企业主数据管理的智能化、信息化。

作为中车信息公司历经多年着力打造的核心产品，中车信息公司主数据管理系统（TiMDM）经过持续的创新与提升，现已更新至V3.0版本，得到了多个行业的广泛应用，并取得卓越的成果，不断推进企业数据治理步入崭新高度。

技术的厚积薄发，是推进产品创新的持续动力。中车信息公司主数据（TiMDM）系统的成功是基于公司在公共技术支撑平台(TiEAM)的雄厚的技术积淀，目前，主数据（TiMDM）包括数据建模管理，数据导入管理，数据对象管理，工作流管理、数据发布管理等主要功能模块。

系统特征：

1

结合本体论和语义网原理，支持可配置的主数据建模；

2

支持多种数据源数据的导入管理；

3

提供单条、批量、接口上传数据的复杂查询和流程内查重控制的数据对象管理；

4

支撑客户任意定制数据管控流程；

5

通过ESB等集成技术实现系统无缝集成。

7

中车信息公司主数据管理功能构架：

8

中车信息公司主数据管理服务体系：

中车信息公司主要提供主数据体系规划及咨询服务和主数据产品及实施服务两大服务内容，具体服务内容如下图：

9

中车信息公司主数据典型客户：

中车信息公司主数据管理建设解决方案目前已经应用于轨道交通装备制造、国家机关政府机构以及流通行业等多个行业，以下是我们过往实施过的部分典型客户：

10

中车信息公司主数据典型案例介绍：

中国北车集团主数据管理建设项目

项目需求分析：中国北车股份有限公司是经国务院同意，国务院国资委批准，于2008年6月26日共同发起设立的股份有限公司。

中国北车集团总部、机车、货车、机电、工程、海外、物流、研究院各项业务基本上缺乏统一的管理信息系统支持，缺乏统一的数据标准，导致业务系统间无法信息共享。

会计科目没有统一的编码体系，无法实现集团整体财务管控。

供应商信息没有统一的标准，无法集团内共享形成供应商统一的管理体系。

缺乏数据标准，无法进行系统集成，无法为分析决策提供支持。

1

系统应用架构

集团总公司制定各类主数据统一标准，集中搭建主数据管理系统，各类主数据的提报、审核、发布以及修改维护均在主数据管理系统中完成，然后通过集成技术实现与各下属企业业务系统实现数据交互。

2

项目建设价值

推动物流、资金流、信息流一致

为分析、管控、决策提供保障

11

中车信息公司主数据(TiMDM)系统优势

中车信息公司经历大量的实践，总结了宝贵的咨询和实施经验，并培养了一批专业研发、咨询和服务团队，具体优势如下：

工业互联网操作系统

---

产业智能官  AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业工业互联网操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

长按上方二维码关注微信公众号： AI-CPS

本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！

---

---

版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：erp_vip@hotmail.com

---

---