关于大数据治理的研究与分析

1数据治理的背景和现状

1.1数据治理背景

随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，根据监测，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位由TB-PB-EB-ZB的级别暴增。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据，逐渐成为一个新的领域，于是大数据的概念应运而生。

　　图1　数据治理背景图

1.2数据治理现状

大数据的快速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2013年增速将达到138%，达到11.2亿元，产业发展潜力非常巨大。我国大数据飞速发展的背后存在诸多的问题：相关利益交织，协调难;方案规划容易，落地困难;过度依赖技术工具;对于数据没有明确区分。

　　图2　数据现状分析图

2数据治理策略

2.1数据治理要素

　　图3　数据治理要素分析图

2.2数据治理策略

第一步：落实合适的人员负责治理。

任何成功的数据治理计划的第一个步骤就是，要在本企业找到CEO可以授权的人，然后让该人负责项目的具体实施。没有什么能取代强有力的领导人。

数据治理是涉及人事的一个难题，这需要在许多不同的利益相关者之间达成共识。因而，在本企业里面选定这样的领导人是一项重要工作。治理官员一旦选定下来，就要成立由企业的利益相关者组成的治理委员会，制订监管政策、向CEO及董事会报告进度。

第二步：调查清楚所处环境。

一旦选定了领导小组，就要调查当前情形，并清查不同部门在不同领域的当前最佳实践。领导小组需要越过独立系统看待问题，而企业数据治理评估方法对这项工作来说必不可少。这有助于比较本企业的数据治理计划目前处于什么状态，并且提供了一份路线图以便确定以后的目标。

第三步：制订数据治理策略。

数据治理评估之后，治理委员会就应当考虑制订远景，希望公司的数据治理实践在接下来的几年达到何种目标，根据这种需求为未来制订远景。委员会应当向后规划，并且制订切合实际的里程碑和项目计划来填补相关的缺口。具体办法就是制订关键绩效指标来跟踪进度，并且向CEO和董事会提交年度报告来证实成果。

第四步：算出数据价值。

估算数据价值。要是公司不知道数据的价值，它们就无法提高、保护或者评估数据对账本底线的价值。数据不是一种普通商品，而是像水龙头里出来的水--对生命至关重要，又往往被人们认为是理所当然的。你要是不知道某物的价格，就无法算出它的价值。

如果你想算出数据的价值，就要根据用户权限和IT服务的效用，为数据建立内部市场。当本企业的每个人都在直接付费获取IT服务和数据时，数据的价值就成了公司价目表上的一部分。

第五步：算出风险概率。

知道数据在过去是如何使用和滥用的，这有助于了解数据在将来会如何被危及和披露。每家企业都有一些原因，如一些事件和损失在独立系统、层次体系和商业报告中消失。这些数据已经可供使用，却没有被大多数企业所使用。收集这些数据，与其意义联系起来，并研究长期的损失趋势，这可以帮助任何企业把风险管理转变成基于事实的商业智能方法，从而可分析过去事件，预测未来损失，改变当前的政策要求，成为未来改善风险缓解策略。

第六步：密切关注控制措施的效果。

数据治理在很大程度上涉及企业的组织行为。企业每天在变化，因而它们的数据、价值及风险也在迅速变化。遗憾的是，大多数企业每年对自己只评估一次。要是公司无法改变组织控制措施来满足每天或者每周出现的需求，也就谈不上变化治理。

　　图4　数据治理实施建议图

3元数据管理

3.1元数据的定义

技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容;业务系统、数据仓库和数据集市的体系结构和模式;

业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的信息;具体包括以下信息：企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。

3.2为什么要进行元数据管理

　　图5　数据管理分析图

3.3数据模型标准化

　　图6　数据模型示意图

3.4标准化体系(数据定义&模型设计)

标准化体系：一定范围内的标准按其内在联系形成的科学的有机整体。标准化体系它规定了质量方针、目标、职责和程序，并通过建立相关体系进行过程管理、质量策划、质量控制、质量保证和质量改进。

　　图7　标准化体系示意图

4主数据

4.1主数据的定义

企业主数据分散存储在企业各系统内，是对企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等。

4.2为什么要作主数据管理

主数据管理(MDM Master Data Management)描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。

主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据。主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术和流程，用于自动、准确、及时地分发和分析整个企业中的数据，并对数据进行验证。

　　图8　数据管理原因分析图

4.3如何做好主数据管理

通过单一平台上成熟的多领域MDM集中主数据的管理，从而消除点对点集成，简化您的结构，降低维护成本，改进数据治理。Informatica MDM(主数据管理)能够通过以下步骤帮助企业成功进行多领域主数据管理：

1. 建模：用灵活的数据模型定义任意类型的主数据

2. 识别：快速匹配和准确识别重复项目

3. 解决：合并以创建可靠、唯一的真实来源

4. 联系：揭示各类主数据之间的关系

5. 治理：创建、使用、管理和监控主数据

4.4主数据实施流程

　　图9　数据管理实施流程图

4.5主数据管理体系

　　图10　主数据管理体系流程图

5数据质量管理

5.1数据质量问题

·数据的值域

·数据的定义

·数据的完整性

·数据的有效性

·业务规则

·结构完整性

·数据转换

·数据流

5.2组织架构设计

　　图11　架构分析图

5.3数据质量治理流程

　　图12　数据质量治理流程图

5.4数据治理管理方法

建立合理的数据管理机构、制定数据质量管理机制、落实人员执行责任、保障组织间高效的沟通、持续监控数据应用过程和领导强有力的督促是保障企业数据质量的关键。

　　图13　策略与方法分析图