大数据带来的弊病？近因效应

世界上90%的数据都是过去几年里产生的，你可能已经熟知这个统计了。这是真的。我能找到的关于这个表述的最早的陈述之一可以追溯到2013年五月，但这个趋势一直显著地持续着。确实，过去三个世纪以来每两年世界上数据的总量便会提高到十倍——这个比率甚至使得发现处理器性能加倍的摩尔定律都相形见绌。

这样一个信息增长比率所带来的问题之一是现在这个时刻的数据总是比才过去不久的要出现得大得多。想想一下回顾一本描绘你人生前八年的一本相册，从出生到成年。假设你有你人生头两年的两张照片。假定在匹配现在这样一个信息增长比率下，你将会拥有印象深刻的2000张六岁到八岁的照片；20万张十岁到十二岁的；以及惊人的两亿张十六岁到十八岁的照片。也就是说在最后两年里每一秒种便会有不只三张照片产生。

“当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。”

当然，这并不是全球数据的一个完美的类比。一开始，世界上许多数据的增长都是因为更多的人参与创造出了更多的信息资源以及更庞大更细致的格式。但是关于均衡性的观点是有根据的。如果你打算回顾像上面一样的记录的话或者尝试着分析它，你将发觉离现在越近的东西越会变得毫无意义。记录这么多次有用的信息却更少，为什么会这样呢？

这就是现今如此多大数据被收集与分析所带来的问题。当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。目光短浅深深地植入在高估以历史为代价的短期趋势的强大的结构倾向中。

大数据所带来的问题之一是现在这个时刻的数据总是比才过去不久的要出现得大得多。（来源：iStock）

为了理解这个的重要性，思考一下社会科学关于近因效应的发现，它描述了人们假设未来的事件将类似于最近的经历的倾向。这也是我们熟知的“可具有性”启发式的另一种说法：依据任何最容易想到的东西进行思考的倾向。这也是一种普遍的心理属性。如果在过去的几年里在你住的地方你已经见证了异常寒冷的夏天，比如，你可能被引导着说出夏天越来越冷了——或者你们当地的气候可能在变冷。实际上你不应该把你读到的任何东西读入数据。你需要运用更长远的眼光去了解关于气候变化趋势的有意义的东西。在短期内，你最好不要随意推测——但我们中有谁能够真的做到呢？

“短期的分析不只是无效的——它们经常是无用的甚至误导人的”

现实生活中多数复杂现象经常也是这样的：如股票市场、经济、公司兴衰、战阵与和平、人际关系以及王朝更迭。短期的分析不单单是无效的——它们经常是无用甚至误导人的。瞧瞧众多经济学家排着队宣布像2009年金融危机这样的事件是不可能发生的，直到它真的发生了。在那种程度上可以做到有效预测的那种概念本身就是问题的一部分。

值得一提的是在决定数据去留时新奇经常是主要的考虑因素。推陈出新：在这个数字趋势的世界上，搜索算法本质上偏向于新鲜事物，所谓的超链停用从最高法院决定到整个社会媒体服务业等各方面十分猖獗。对于当下的偏向从结构上在我们周边的所有科技中已经根深蒂固，尤其要归因于我们大约五年后丢弃我们大多数一度繁荣的机器的喜好。

该怎么做？这不只是一个更擅长保存旧数据的问题——尽管这不能说是个坏主意，考虑到我们对现在于过去的几十年而不是过去几年的保存多无能为力。更重要的是，决定哪些数据是在第一时间值得保存的——并且以知识的名义有意义地剔除信息意味着什么。

我们需要更擅长于决定哪些数据值得在第一时间保存的。

我们需要的是一种我喜欢称为“选择性遗忘”的能力：训练我们的工具更擅长于放下刚刚过去的东西以保持眼光上的连续性。这是一种类似治疗的方式助我们合理安排相册——尽管需要更多的数学。什么情况下两百万张照片不如两千张有价值呢？当样本比较多涉及领域却比较少的时候；当可以提出的问题不那么重要的时候；当提供的细节的级别只是逐步灌输怀疑和只有盲目的自信的时候。

有许多的数据集是不能复原的，当完成的时候价值是极大的：基因序列；人口数据；地理和物理学的困难知识。然而，若科学越不严谨，规模就越可能与质量成反比—更重要的是时间本身就是一个过滤器。我们要么仔细选择忍受什么，有哪些是重要的，还有要带着有意义的心态去捕捉我们后退的过去，要么它的印记被现在不断增加的噪音所替代。

时间的削弱是有多方面的，因为在它仍然是一个限制因素里面有一个至关重要的意义：人的时间和注意力的可用性。企业，个人和政府都有相当多的信息，与他们几年前相比。然而，在白天的日子里他们没有任何可用的关注，董事会成员，首席执行官，民选官员或者几个小时的时间。越来越好的工具的存在帮助决策者对他们所拥有的信息提出有意义的问题-制造者对他们拥有的信息提出有意义的问题-但你只能分析可企及的问题。单纯地积累不是一种答案。在一个越来越大的数据时代，你选择不知道的事情和你所做的一样重要。