大数据发展新方向 数据质量是关键

根据维基百科的定义：数据质量指的是“数据对其在操作、决策支持和规划中扮演角色的适应程度”。下面是数据质量常见的五个方面:
　　
　　（1）一致性：信息集合中每个信息都不包含语义错误或相互矛盾的数据。例如，信息（公司=“先导”，国码=“86”，区号=“10”，城市=“上海”）就不一致，因为10是北京区号而非上海区号。又如，若银行信用卡信息库显示某持卡人同时在北京和新疆使用同一信用卡消费，这时就出现了同一时刻两个地点信息不一致的情况。
　　
　　（2）精确性：信息集合中每个信息都能准确表述现实世界中的实体。例如，某城市人口数量为4130465，在信息库中的记载为400万。此数据看似合理，却不精确，未能包含剩余的130465人。
　　
　　（3）完整性：信息集合中包含足够的信息来实现回答问题、查询信息或进行知识发现等功能。这也同样是数据质量评定中的一个重要因素！例如，某医疗信息库中的信息遗失了某些患者的既往病史，从而存在不完整性。一旦该患者需要治疗，这些缺失的信息将会导致医生不正确的诊断甚至引发严重医疗事故。
　　
　　（4）时效性：信息集合中每个信息都要与时俱进。例如，把某小区住户的地址看作是数据的话，其中某位住户所登记的家庭地址是2010年的，但在2011年他可能搬家了，此时他所登记的家庭地址信息就不正确了，即信息过时，而这些过时信息将会导致严重后果。
　　
　　（5）实体同一性：信息集合中描述同一实体的不同表示形式共享同一标识。例如，为防止信用卡欺诈，银行需监测信用卡的使用者和持有者是否为同一人。又如，同一企业中维护着各自不同的信息库的部门在兼并和重组时，会使新的客户信息库中产生大量具有差异的重复客户信息，而导致客户信息的混乱。
大数据中的数据质量问题
　　
　　大数据，顾名思义，其最本质的特点在于数据量“大”，除此之外，还包括了获取、管理以及处理时的复杂性。大数据具有明显的时代特征，使用者们习惯上将其总结为4个“V”：规模性（volume），高速性（velocity），多样性（variety）和价值稀疏性（value）。由于这些特征，大数据才有更大可能产生数据质量问题，即更有可能出现不一致、不精确、不完整、过时等问题或者描述同一实体的数据出现了冲突（简称为实体不同一）等错误，具体原因包括：
　　
　　（1）大数据具有规模性大的特点：越大规模的数据就越有可能在获取、存储、传输和计算过程中产生更多错误。即使想要进行人工 错误检测与修复也会由于成本极其巨大以至难以有效实施。
　　
　　（2）大数据具有高速性的特点：数据的大量更新会导致过时数据迅速产生，在这个过程中也更易于产生不一致数据，为人工错误检测与修复带来困难。例如，某一大型实验设备中包含了15亿个传感器，平均每秒收集超过4亿条实验数据，每一秒钟就会有这些数据迅速过时，传统方法想要实现新数据替换对应的旧数据，就显得有些力不从心。
　　
　　（3）大数据具有多样性的特点：它的多样性指的是数据来源和形式上的多样，这就使得数据有更大的可能产生不一致和冲突。例如，在互联网上的不同网购网站中获取到的同一商品的一些信息就有很大可能存在冲突。
　　
　　数据质量的影响
　　
　　如果没有良好的数据质量，大数据将会对决策产生误导，甚至产生不可估量的结果。
　　
　　根据估算，数据错误每年对美国工业界造成的经济损失约占GDP的6%。
　　
　　在医疗方面：根据美国医疗委员会的统计，由于数据错误引起的医疗事故仅在美国每年就导致高达98000名患者丧生。
　　
　　在电信产业：数据错误经常导致故障排除的延误、多余设备租用和服务费收取错误，损害了企业信誉甚至会因此失去很多用户。
　　
　　在商业上：美国零售业每年仅因标价错误就损失25亿美元。2009年戴尔台湾网站，在8小时内，售价本应是4800元新台币的19吋显示器被按照错误标价以500元新台币订购140万台！
　　
　　在金融企业中：因数据质量问题导致的信用卡欺诈失察在2008年即造成48亿美元的损失。2001年雷曼兄弟公司将￡300万错输入为￡3亿，导致金融时报指数瞬间暴跌120点，百家蓝筹股的300亿英镑市值化为乌有,损失￡500万－￡1000万。2005年瑞穗证券同样因为输入错误，在16分钟内损失了19亿元人民币。
大数据质量管理的研究成果
　　
　　在国家973高科技基础研究计划的资助下，哈尔滨工业大学等单位合作围绕“数据质量”这一重要主题进行项目“海量信息可用性基础理论与关键技术研究”已经超过3年，在数据质量方面已经取得了以下一系列研究成果：
　　
　　数据质量评估技术：从数据质量常见的五个方面分别提出了数据质量不同的自动评估技术，并研究了这五个方面的关系，从而可以根据应用的需求判定数据的质量是否达到要求。
　　
　　数据自动修复技术：利用网络提供的海量数据及从其中获得的知识来对数据进行修复。通过分析定义错误修复的语义蕴含与表现形式、自动修复的充分必要条件和基于WEB的自动修复模型，提出了查询关键词生成模型及算法，通过遗传算法实现查询关键词的自适应性调整，提出了实体抽取模型，该方法采用图模型来描述实体集之间的关系，利用图匹配的相关技术进行信息抽取，并基于抽取出的信息进行数据的自动修复。
　　
　　实体识别技术：实体识别用于找出描述现实世界同一实体的数据。如今的数据集合大多具有复杂结构并具有更新频繁特点。课题组通过研究此种数据实体识别的理论和算法，提出了一系列针对关系数据、XML数据和图数据的实体识别算法，并将提出的技术应用到了商品信息的实体识别中。借助所得到的结论将淘宝等购物网站进行改进。
　　
　　弱可用信息上的知识发现技术：网络上很多，要么不完整，要么带有可能误导用户的信息的数据以及很多通过自动化方法从非结构化数 据中（比如文本和图片）提取出来的数据，都是是典型的弱可用数据。课题组针对网络上的弱可用信息提出了多种知识发现的方法，使得人们可以借助多种数据挖掘方法在这些弱可用数据上进行知识提取，并且将这些提取出来的知识在不同领域的不同应用场景中进行验证。
　　
　　数据质量自动检测技术在社保中的应用：在社保数据中，由于数据源多种多样，信息成因具有阶段性和分布性特点，造成了大量的数据孤岛的存在，即来自不同信息网络的数据信息经常会出现无法共享的问题，比如公安系统、民政局系统可能就会有信息重复或信息不匹配的情况发生。课题组利用数据质量自动检测技术解决了这些问题，确保了社保经济数据工程的顺利开展。