大数据： 一种新经验主义方法_数据分析师

　当今世界，“大数据”已成为一个热点话题，学术界和产业界都试图在该领域取得突破。何为大数据？这是在充分收集、整理和分析历史经验数据的基础上，运用已有经验对新事物进行判断与预测的新兴思维和方法。

　　在人类传统的思维、行为模式中，受数据收集的历史条件局限，所谓理性主义长期占据主导地位，即：通过长期观察和经验的积累，人类能透过现象看到本质，从而总结出事物发展的一般规律。具体说来，便是从有限数据中抽象出一般规律和模型，将泛化有限经验推广到一般情况。所以说，理性主义方法就是模型方法。然而，由各方参与和博弈的人类社会复杂纷繁，人们并非总能从有限经验中抽象出一般规律，也难以处处用理性分析方法建立模型。

　　随着信息科学技术的高速发展，人类对数据的收集和分享能力空前强大，包括以物联网收集物理世界数据，以互联网收集虚拟世界数据，以移动设备收集个人数据等等。从某种意义上来讲，这也是对人类经验的收集和分享。当数据达到一定的深度和广度，量变就会发生质变，我们发现：数据（经验）越多，对模型（理性）的依赖程度越小。于是，一种基于大数据的新的经验主义方法迅速兴起，很快获得社会广泛认可并运用到诸多领域。

　　在传统的理性主义方法中，由于只掌握小样本数据，人们通常基于小样本数据构建模型并将其泛化，进而解决新的问题。显然，若待解决的问题与小样本差别过大，这种模型就会失效。相比之下，大数据的特点是省略复杂的模型，直接寻求面临情况与已知样本的匹配。其核心就是尽可能多地收集样本，构建足够大的样本数据库来覆盖所有可能遇到的情况，令每种情况总能找到一个或多个相同或相近的样本，从而运用老经验解决新问题。

　　也可以这样比喻：传统方法是个理性主义者，“他”循规蹈矩，有很强的逻辑思维和归纳能力，能够通过小样本建立模型、总结规律；“大数据”则是经验主义者，“他”不是科班出身，但实践经验丰富，头脑包罗万象却有条不紊，遇到难题总能迅速找出以往经验与之应对。规范地说，“大数据是现代社会在掌握海量数据收集、存储和处理技术基础上所产生的一种以群体智慧进行判断和预测的能力，它代表了一种新的经验主义思想和方法。”

　　那么，多大的数据才是大数据呢？目前，这个问题没有绝对的答案。不妨这样回答：“当数据多到能对问题的样本空间进行充分覆盖，从而减弱对理论和模型的依赖时，这样的数据就足够大了。”实际上，数据之“大”与问题的规模成正比，即：若问题的规模小，少量数据即能覆盖全部情况，这些数据已构成具体环境的“大数据”；反之，若问题的样本空间大，则需要更多数据才能将其完全覆盖。

　　既然大数据体现着先进的新经验主义，在实践中展现巨大价值并逐渐成为社会主流，那么传统的理性主义难道就要退出历史舞台了吗？回答是否定的。

　　首先，人类社会的不少问题样本空间极大，数据虽尽力收集却总是不够，即总是不能覆盖所有可能的情况。以不同语言之间的机器翻译为例：从一种语言翻译为另一种语言，其样本空间需囊括所有可能出现的词句，而对这样的样本空间进行全面覆盖则需收集几乎无穷尽的数据。由于不能实现全面覆盖，即使收集数据再多，也很难说这就是“大数据”。

　　其次，万物都处在运动当中，一成不变的事物是难以想象的。具体到某一社会问题的样本空间，“不变”是相对的，“变”是绝对的，像自然领域的气象数据、人文领域的人口数据，甚至是时刻在变化着。又如，互联网上新的词语层出不穷，有时令人难以理解，而已知数据中根本没有相似的样本，当然无法直接运用大数据的方法进行处理。

　　因此，将大数据（经验主义）和传统方法（理性主义）结合起来、综合运用，才是顺利解决社会问题的明智选择。就是说，遇到数据不能完全覆盖的情况，还是需要借助模型的泛化能力进行处理,将已知经验推广到数据未能覆盖的地方。