如何高效实现数据优化，提升数据分析效能与价值

所谓“工欲善其事，必先利其器”，在数据分析大行其道的今天，如何高效实现数据优化，提升数据分析效能与价值，成为企业IT部门面对的重要课题之一。

小张的麻烦

小张是一家公司的IT部门员工，负责公司信息系统运维管理。今年年初，公司为了实现数据化驱动转型，将数据价值最大化，斥资购置并搭建了一套数据分析系统，希望能够从公司各部门产生的大量业务数据中获得更大的增长空间。

系统上线之后，小张工作变得愈发忙碌，除了需要频繁督促部门人员的业务数据录入之外，还要通过系统对业务数据进行分析整理，查看可能存在的问题和业务改进的空间。小张相信，这些数据中蕴含着改进业务的巨大价值。

然而随着系统运行，小张发现，数据分析的结果中，存在一些莫名其妙的问题：

生产流程的平均时长比完成所有流程总共的时间还长；

原材料采购占比最大的省份占比居然只有个位数；

员工男女比例严重失调；

……

经过仔细查找后，小张发现系统所用到的部分数据源中的原始数据没有经过充分的准备处理，存在大量无效数据甚至垃圾数据，导致分析结果存在巨大的差异，以至于完全无法使用，例如：

生产部门人员忘记录入流程的结束时间，导致生产流程时间记录大大延长；

省份信息录入名称不统一，“北京” 、“BJ”、“Beijing” 等信息混录，被识别为不同省份；

性别信息以数字1、0录入，未录入信息因空值被补记为0，导致女性员工统计数量大幅增加；

……

小张不得不通过各种方式手动修改这些数据，再加上不断增加的数据分析与报表任务，工作压力越来越大，小张也被搞得焦头烂额。

当然，小张遇到的问题只是许多数据治理问题的缩影。事实上，在构建数据分析系统的过程中，IT人员会面临更多、更复杂的数据问题，而这也是企业构建数据体系时，不得不面对的重要课题。

(一）“脏”数据

对于数据分析系统而言，数据的录入往往存在或多或少的不规范性，如重复记录，遗漏的空值，明显不合理的异常数值、未根据相应指标改变的参考值等情况，这种数据一般被称为“脏数据”。 数据处理过程中常见的“脏数据”主要有以下几类：

1. 数据重复：出现多条相同记录，且往往出现的复杂情况是记录不完全重复，例如：两条记录，仅有地址信息不同，而其余值完全相同。

2. 关键数据缺失：缺失部分数据记录，或记录里存在空值，或两种情况并存。如果有空值存在，为了不影响分析准确性，一般或者不将空值纳入分析范围，或者选择用平均数、零或等比例随机数进行填补进行补值。如小张所在公司的数据系统，对于未正常填写的生产流程完结时间一律按照夜间24点进行填补，因而产生生产流程超长的情况。

3. 数据错误：数据没有严格按照规范记录。这种情况一般包括异常值（超出正常区间的数值），格式错误（如日期格式录成字符串）或数据不统一（如北京记录成北京、BJ或Beijing）。

4. 无法关联：数据正确，但不可用。这种情况常见于字符串，如地址“北京海淀中关村”记录在同一字符串中，无法将“海淀”这一具体城区级别拆分出来，导致无法分析城区数据。

这些数据如果不进行整理就直接进行分析，会对分析的结果准确性与价值产生很大影响，正如文章开头小张面对的问题一样。

在完整的数据分析体系中，一个很重要的环节叫做“数据准备”，其目的就是对“脏数据”进行相应的“清洗”，减少或避免这些数据对分析结果可能产生的影响，最大化数据分析可以提取的数据价值。

（二）如何“清洗”数据：手洗vs机洗

数据准备并非一个新鲜的概念。在IT部门仍然是企业数据分析核心部门的时候，数据准备就一直是IT部门最重要的数据处理任务之一。根据不同的数据问题类型，IT人员需要对数据系统制定不同类型的处理策略，甚至手动处理部分数据。

在传统数据分析系统中，这一工序通常由IT人员通过不同类型的数据处理工具，或者编写大量的SQL加工逻辑完成，繁琐复杂，耗时耗力。在数据分析的整个过程中，数据准备有时会占到整体流程时间的70%以上，严重降低了IT部门的工作效率。

同时，传统数据分析系统过度依赖IT部门，从数据准备到报表生成都要依靠IT部门执行，使其迅速成为数据分析流程的“瓶颈”。这种通过IT部门“手洗”数据的过程，会因为各业务部门的大量数据业务堆积，加剧IT部门的“数据瓶颈”效应，影响整个数据分析流程的进度与企业对数据价值的应用效率。

正所谓“工欲善其事，必先利其器”。在数据分析的过程中，通过快捷、直观、可视化的工作流方式，快速完成对数据的准备工作，发现并纠正数据问题，保证数据的一致性，不仅能够为企业节约人力与时间成本，同时对于提升数据分析带来的价值与强化企业数据驱动能力，都具有重要的意义。