数据模型梳理：一个自下而上的数据治理方法

一、数据模型梳理背景

我们在传统企业（如电信、航空、电力、政府等）实施一个个数据治理项目的时候，总会发现基本类似的问题：

●企业内IT系统越来越多，其复杂度也越来越高，没有人能说明清楚整个系统的数据架构和数据流向，数据架构与业务流程 、应用架构之间的关系不清晰。“黑暗”数据（指存在于系统中但无法说明与业务间的关系，后续亦无法对数据进行分析和应用）现象非常明显。

●数据模型管理能力自身在不断减弱；开发团队出于现实压力，以实现功能为主，对非功能性需求不太在意，导致模型设计质量不高。IT系统出现先实现后优化的现象，优化效果滞后。

●数据模型变更失控，大多数系统都处于积术式叠代开发，新需求就加一堆表，系统数据模型越来越雍肿；数据模型变更长期缺少基线化，大量已经废弃业务以及相关数据模型仍然存在于数据库，无人敢动。

●数据无序增长，企业核心业务系统数据无有效的退出机制，业务系统容量无序增长，长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。

●数据标准缺失，缺少企业级别统一的数据标准，数据模型相关含义令开发和运维人员难以理解；同时，亦使得企业不同应用间的数据集成和数据共享困难。

●数据安全突出，对企业的敏感数据、用户、访问权限仍然缺少认识和控制，数据敏感数据泄漏的安全事件屡见不鲜。

●数据质量参差，数据处理环节中产生大量的错误和质量差的数据，数据错误发现和处理流程不及时，导致更多的后续错误。

从这些问题之中亦反映了一个现实：在当今，数据作为一种企业的重要资产而被人们广泛接纳的时候，对于广大的传统企业，正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失，使企业连读懂自身的数据都是如此困难的一件事，更难以谈得上后续的数据分析和应用。

二、一种自下而上的数据治理

由上面问题的分析和归纳，在数据治理这个范畴上，我们应该首先解决的是企业对其数据的了解和认知。

由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构，是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下，一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理，使组织理解它们所拥有的数据，以及数据与业务流程之间的关系，不管数据来自于什么数据，什么样的产品平台以及任何地方。

因此，数据模型梳理，也正是传统企业必需一个自下而上的数据治理方法之一。

经过完整数据模型梳理可以预期可以达到什么样的效果：

●克服黑暗数据现象，通过清晰的元数据和数据模型管理让企业可以真正理解和运用自身的数据，并不断扩大应用和分析数据的范围和规模。

●明确数据含义，了解数据访问与业务流程之间的关系，帮助企业业务使用者（不仅包括IT）可以使用数据和应用数据帮助他们更好完成工作，推动全面数据化运营。

●连接和映射更多数据，充分发掘现有的数据之间的关系，扩大数据规模效应，让数据可以充分发挥其作用和价值。

●为其他的数据资产管理活动，包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。

其实，在数据仓库领域中，元数据管理正是用来解决这个问题的但由于种种原因，实际上传统企业中元数据管理也不尽如人意，出现元数据与实际环境严重脱节，不能反映其真实数据架构等现象。我们在某电信运营商实现数据治理项目时，曾经遇到的最真实情况是，大多数的系统（或者项目）没有数据模型设计文档，而其中最核心的业务系统之一的数据模型最新版本是2年前的，进行初步稽核之后，数据模型与实际生产环境对得上的只有40%左右。

三、数据模型梳理实施方法

一般而言，数据模型梳理的实施步骤大致分为三个步骤：

1.物理模型梳理和优化

物理模型梳理的实质在于数据模型从关系数据库，形成一份稳定的物理模型设计。但它也不等同于单纯应用PowerDesigner等工具从数据库中进行反向工程（reverse engeering）的结果，或者可以这样讲，反向工程只是其中的初始步骤。初始反向工程出来的结果，经过层层的筛选、过滤、合并和优化以后，最终经各方确认后形成物理模型基线，供后续逻辑模型梳理的基础，以及作为后续数据模型变更作为基线。

2.逻辑模型梳理

逻辑模型梳理的实质，就是在在数据物理模型的基础上，通过实体关系分析、字段含义梳理，字段取值梳理等手段，形成企业IT系统逻辑模型。在这个阶段，需要引入数据架构师，业务专家，DBA，业务人员等不同角色的人员共同努力实现数据逻辑模型的梳理。在相应工具的支持下，以应用系统核心实体和关键实体为突破点，逐步展开和梳理逻辑模型梳理的步骤。

由于完全的逻辑模型梳理往往会引发大量的工作量，一般而言，可以因应不同的系统、系统中不同的业务有重点地（分不同层次地）进行逻辑模型梳理。

3.业务数据地图梳理

最后，在自动化的手段下，以业务专家为主梳理和形成业务与数据之间的关联关系，并以图形化、可视化方式展现出来。业务数据地图，着重体现业务-应用-数据之间的关系和影响。

四、小结

企业进行数据治理的目的在于为企业数据化运营提供一个高质量的数据环境，包括数据完整性，数据安全性，数据一致性，数据标准化，数据准确和及时等。其中，数据模型梳理作为一种有效的自下而上的数据治理方式，可以提供一个关键手段来控制表面上变得日益复杂的数据管理环境，使人们可以驱动数据：更有效地管理他们的数据，可以更有效的使用分析，让数据发挥和创造更大的价值，真正指引企业的整体运营。