大数据能否破解数据造假难题_数据分析师考试

大数据是近年来的一个热词。什么是大数据分析？通俗地讲，就是运用一些数据分析软件工具，对海量的、混杂的数据进行分析，在融合丰富的实践基础上，运用创造性思维，得出突破性的结论。大数据包括3个特征：一是具有海量的、混杂的基础数据；二是熟练运用Hadoop和Spark等分析软件工具；三是具有开放的、有创造性的思维方式。只有具备了这3项，才能真正做好大数据分析。

　　大数据和以前的数据分析有3个明显的区别：一是原来的数据分析针对部分样本，大数据是所有的数据都要参与计算；二是大数据中，相关关系重于因果关系；三是大数据允许混杂数据甚至错误数据。

　　我们得到海量数据后，首先，要对这些数据进行本体分析，即对其本身进行分析，如污染源数据、环境质量数据等。其次，要做扩展分析，如分析清楚污染源数据和环境质量有什么关系。第三，要做延伸分析，即将污染源数据、环境质量数据和经济数据、人口数据、产业结构的数据结合起来进行分析。如果不做这些分析，就不算是大数据分析，或者说做不好大数据分析。

　　中国环境报：您刚刚谈到，大数据允许混杂数据甚至错误数据，这是为什么？

　　林宣雄：大数据允许混杂数据甚至错误数据。这是因为，大数据能够通过造假数据的特征将其辨识出来。造假的数据和平常的数据不一样，可以通过环比、同比、类比，发现数据中的异动，判断企业是否存在数据造假行为。

　　目前，通过线上、线下数据对比，能够迅速发现企业偷排行为。一个真实的案例是，某公司焦炉烟囱二氧化硫自动监控数据长期稳定在20mg/m3。但现场人工监测发现，实际数据为100mg/m3~200mg/m3，检查前后自动监控数据差距较大。经调查证实，企业擅自拔出部分二氧化硫测量探头，使采样孔漏气，稀释排放污染物，人为干扰采样装置、降低测量数据，造成监控数据失真。针对公司的违法行为，环保局依法对企业下达了处罚决定书，对企业存在的超标排放、干扰自动监控数据行为，分别给予6万元、3万元处罚，追缴2015年第一季度焦炉烟囱二氧化硫排污费，启动按日计罚程序，公安局对涉嫌违法的主管人员和其他直接责任人作出了行政拘留10日的行政处罚。

　　目前，我们正通过分析数据异常波动为环保部门精准执法提供线索。例如，我们每周都要为浙江省嘉兴市环保局提供一份在线数据出现异动的企业名单，环保局可以根据这份名单，有针对性地执法检查，执法效率可大大提高。

　　中国环境报：据您了解国外有没有通过大数据研究，发现环保数据造假的案例？

　　林宣雄：目前，国外大数据在环保领域还没有典型案例。这是因为，一些发达国家的环境问题已经得到了较好解决，而大数据的概念是这几年才提出的。但大数据应用在国外有一个经典案例，值得借鉴。2009年，甲型H1N1流感暴发的几周前，谷歌公司通过对运用谷歌软件搜索流感相关信息的人群进行分析，成功地预测了流感在美国境内的传播，其分析结果甚至具体到特定的地区和州，并且非常及时，令公共卫生官员倍感震惊。因为通常来说，美国疾病控制中心要在流感暴发一两周之后才可以做到这些。

　　大数据拥有如此大的威力，对于环境问题十分严峻的我国来说，其应用意义更加巨大。将大数据应用于环保领域，也将成为我国的一大创新。