大数据的本质是什么，在竞争之中存在哪几误区

继物联网、云计算之后，“大数据”迅速成为大家争相传诵的热门科技概念。“大数据”作为信息社会发展的一个新生事物，目前尚处在逐渐被认识、被应用的初始阶段，无论是学术界还是IT行业对大数据的理解各有侧重，尚未形成一套完整的理论体系，因此很难进行精准的定义。根据维基百科的定义，“大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。”笔者则认为，“大数据是通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力”。

事实上大数据不是一个战场层面的技术性名词，而是一个战略层面上的社会性名词，并不是其构成数据的简单累计，是一个量变到质变的产生了飞跃的事物。也就是说，从数据到大数据，其本质已经发生了改变，如同对车的定义，并不是发动机、轮子、油管这些组件的累计。

从本质上讲，大数据是指按照一定的组织结构连接起来的数据，是非常简单而且直接的事物，但是从现象上分析，大数据所呈现出来的状态复杂多样，这是因为现象是由观察角度决定的，正如苏轼在诗里所描述的，“横看成岭侧成峰，远近高低各不同。不识庐山真面目，只缘身在此山中”。

由此可见，大数据的核心关键是组织结构，而不是构成大数据的数据本身，这个特征类似人工生命之父克里斯· 兰顿(Chris Langton)对生命的描述，“生命的本质在于物质的组织形式,而不在于物质的本身”，事实上，宇宙模型里的全部事物似乎都遵循这样的构成规则，结构和节点上的物质。

大数据的结构是一个多层次、交织关联的复杂系统结构，数据是分布在节点上的构成物质，数据之间的关联关系是由节点的位置决定的，而不是由数据本身来决定。也就是说，不同的数据位于同一个节点时，就可以获得相同的关联关系。比如张三在某个县里政府政权结构的局长位置，他就获得了这个节点位置上的所有关联关系，如果李四替换了张三，那么李四就获得了这个位置上的关联关系，而张三就会失去这个位置上的关联关系，获得他新的节点位置上的关联关系。

计算机专家对数据的划分来自直观的经验，分为结构化数据、非结构化数据、半结构化数据。这是符合人类社会发展规律的，即找到解决当前问题的方法，积累在解决问题的过程中获得的知识，利用量变产生质变的规律找到革命性的方法，把人类社会推到一个新的高度，然后再开始新的发展周期。从当前的全球社会现状来看，人类社会文明正处在发生重大变革的关键时期，中国似乎将会成为人类新文明的发源地，因为新文明的创建一定会摧毁当前文明里落后的结构体系，而不是在现有的建筑上粉饰装修，比如价值体系、道德体系等。

由此可见，不能采用传统的处理数据的方法来处理大数据，而是要采用哲学的思维对数据进行抽象的逻辑描述。在哲学思维里，数据只是位于结构节点上的存在事实，同一个数据如果位于不同的节点，则其对应的关联关系也是不同的，比如同一个苹果的数据，位于保定市节点和位于青岛市节点位置，其对应的关联关系是不同的。

按照哲学的模型思维，任何数据都是结构化数据，人们把文件、视频划分为非结构化数据类，是因为它们本身是由大量数据组成的事物，是一个具有复杂结构的事物，而这种复杂性是无法采用当前的结构化技术(数据库结构等)来描述的，如同地球包含了岩石、树木、人、马、羊等各种事物，不能采用描述马、羊的方式来准确地描述地球。当前的数据描述方式是由人们的认知空间尺度决定的，如同霍金提出的金鱼缸理论，金鱼缸的空间尺度决定了科学家的认知尺度和模式。目前对结构化数据的管理基本上是采用二维表格模型，而把不能采用二维表格模型进行存储管理的数据归类为非结构化数据。

数据是网络空间里的构成事物，如同物质是物理空间里的构成事物一样，但是能否真正达到预期的目标，成为在全球有影响力的数据集散地，核心技术、颠覆性的技术是关键。

大数据竞争中的几个误区：

(1)严格地讲，企业级的数据都不会成为大数据，无论这个企业的规模有多大。这是因为大数据是由大量不同类型的数据形成的多样化的生态应用体系，类似生物圈的食物链体系。而企业的数据只是基于满足少量应用需求而组织起来的数据，比如google的数据管理结构。大数据属于区域性的社会型数据，区域内的任何有数据需求的企业、机构或者个人，都可以从大数据里获得所需的数据。

(2)大数据是网络空间里的数据存在形式，所以在未来的网络空间竞争里，大数据是最重要也是最残酷的竞争，统一的大数据模型是网络空间的发展目标，如同星系结构模型是物理空间的唯一模型一样，在不同的观察尺度里，其结构模型是相似的。

从这个角度讲，网络空间竞争的焦点之一就是大数据模型的建立，这是通过颠覆性的技术确立模型标准的过程。网络空间的主权共享是指网络空间创建完成后的应用资源共享，并不是指共享创建网络空间的所有技术。拥有创建网络空间的源头核心技术，等同于拥有源头的控制权，相当于拥有修改网络空间结构和规则的权力。

(3)大数据是逻辑过程发生后的结果，不是逻辑过程，所以大数据本身不是方法论。为大数据提供处理方法的是云计算，弄不清楚这个关系，地方政府就很难对大数据产业进行合理有效的规划布局，企业在发展过程中也会产生迷茫。

(4)大数据里的原始数据来源具有多样性、动态性、小规模、碎片化等特征，政府部门或者机构、企业提供的专业性数据尽管数量庞大，但是也不是真正的大数据。