用好大数据，得小心绕过这些坑

在这个大数据被频繁提起的时代，要想去说说大数据的缺陷或是不好的地方，还是需要有一点底气的。好在我们并不是在否定它的作用与价值，而是想提醒每一个想利用好大数据、经营好大数据的单位与个人，必须小心在已有的实践中早已探明的一些大坑与陷阱，避开这些缺陷所引起的不必要失误。

1，千万注意样本的局限性或特殊性

某报纸记者为了采访当下关于DNA亲子鉴定的情况，前往某检测机构调查，在统计了相关数据之后，得到一个惊人的事实，所有的检测中，竟有近35%的结果是非亲子。这名记者还不放心，又多跑了更大范围的好几家检测机构，发现这个数据总体都相差不大，于是发布了新闻《惊人真相：超1/3的男人被戴绿帽》。其实不看数据，就算掰脚趾头也知道这新闻胡说八道了，但数据又是怎么一回事呢？问题就在于这采集样本太特殊了。这记者没去想想，什么样的人才会带孩子去做亲子鉴定？当然是有了其它显著性的证据或怀疑以后才去的嘛！

2，有些干扰性会随着数据量的增长超越正常

大数据的理论往往会主张，随着数据量的增长，分析结果会越来越准确。但是事实上，客观世界里的数据无限复杂，许多非常一般性的数据都有着不等的干扰性，一旦把它们都混合在一起，往往会过份地扩大这些干扰性，产生出许多带有欺骗性的结论。比如美国经济的预测，美国政府每年公布的经济指标数据有4.5万个，而私人机构提供的高达400万个，如此庞杂的数据，代入到二战后的11次经济衰退事实中去，得出的结果却是五花八门，对于预测下一次经济衰退毫无帮助。

3，数据自身的发展与变化同样会影响应用结果

最经典的大数据应用之一，就是谷歌利用搜索引擎预测流感趋势。谷歌没有用任何复杂的模型，也不依赖任何医疗检查，因为他们发现当人们出现或怀疑有流感症状时，就会上网搜索一些相关的内容。谷歌的工程师们只需动用算法对网上5000万个最热门的搜索字进行计算即可。谷歌流感趋势的成功，很快就成为了商业、技术和科学领域中最新趋势的象征。

然而仅仅4年后，人们突然发现在最近的一次流感爆发中，谷歌流感趋势不起作用了。在它作出了一次严重的流感爆发预警之后，事实发现并没有这么严重。对此，，预测结果比实际情况要夸大了几乎一倍。事后分析的原因有两点： 第一是这一年的媒体上充斥着各种关于流感的骇人故事，导致大量健康的人也会上网上搜索相关的词汇；还有就是谷歌更新了自己的搜索算法，在人们输入与病症相关的词汇时会自动推荐一些诊断结果，进而影响到了用户的搜索和浏览行为。

4，数据行为的表身有时并不代表用户的意愿

许多用户都对于“今日头条”这样的个性化新闻应用颇多抱怨，认为他们所宣称的基于大数据技术“精确推送”的新闻并不精准。其实我们回到日常应用中就会发现，事实上每个人点击每个标题的动因非常复杂，点击的意愿并不代表对于它的兴趣，更何况，网络上充斥着大量的标题党诱骗我们的点击，以及很多时候，我们明明知道它是标题党，但只是为了点进去看看它到底能玩出什么样的花样而已。如果这些因素都不能得到修正，那么这些点击行为统统被计算成使用偏好，得出来的结果则会大相径庭。因此，今日头条才会别行提供了“不感兴趣”的反向过滤功能，来修正这种误差。

5，为大数据而生的统计工具会成为污染的重点

因为大数据的应用存在于现实的商业环境之中，这些数据的得出，关联着众多的商业利益与个人利益。因此，许多相应就对以及试图影响的黑科技也会就此诞生。目前对于学生以及学者论文的查重工具非常流行，它们就是依赖于论文库的大数据对于检测论文的句词分析，来判断最终的重复可能与抄袭程度。一旦有人搞清这个程序与语法判断的逻辑，他们就可以相应地以另一种程序来避开检查，从而达到安全抄袭的目的。

同样，各种SEO技术，就是针对谷歌、百度等大搜索引擎的大数据分析排序算法，通过相应的技术应对，去影响到搜索引擎的最终计算结果，将一些并不重要的搜索结果排在了最前面。再比如，前几年，可以利用大数据技术，从互联网浩瀚的数据海洋中客观分析排出不同行业中真正有影响力的品牌与产品。而如今，随着大数据概念的普及，各种商业机构出于自身利益原因而大量制造、优化与推广的信息，远远超出了普通用户反馈的信息，从这里所谓大数据统计出来的结果，往往就是被污染的事实。

6，不要期望大数据绝对准确，往往只需要提高一点准确度即可

这是大数据应用中的最后一个浅坑，它的表述至少能给我们安慰。因为人类对于数据应用、数据分析以及数据与最终事实真相之间的关联研究，还未走到最后的关头。所以，任何期望大数据能够给我们绝对准确、绝对真实的结果的想法，都是不现实的。但也并非是完全否则，其实，我们只需要通过大数据，能够给现有的工作、生活带来点点准确度的提高即可。正如目前的天气预报，虽然无法以100%地准确，但已经带给人类社会以最大限度的帮助了。