【数据分析师】关于大数据的八大热点问题

大数据的热点问题：

1.数据科学与大数据的学科边界

这一问题综合了两个问题，即大数据的基本内涵与数据的科学问题。前者关注的是大数据的基本定义和基本结构。迄今为止，什么是大数据，在产业界、学术界并没有形成一个公认的科学定义，大数据的内涵与外延也缺乏清晰的说明。大数据区别于其他数据的关键特性是什么?IBM提出了3V的说法，即volume(体量大)、variety(模式多)和velocity(速度快)。尔后又有人提出了另一个V，即value(价值)，表示大数据虽然价值总量高但其价值密度低。另外，大数据是否就意味着全数据，还有待进一步讨论与澄清。最后，还需要为动态、高维、复杂的大数据建立形式化、结构化的描述方法，进而在此基础上发展大数据处理技术。后者关注的是数据界与物理界、人类社会之间的关联与差异，探讨是否存在独立于应用领域的数据科学。如果存在数据科学，其学科问题的分类体系又是什么?目前已有的共识是，大数据的复杂性主要来自数据之间的复杂联系。另外，新型学习理论和认知理论等应当是数据科学的重要组成部分。

2.数据计算的基本模式与范式

大数据的诸多突出特性使得传统的数据分析、数据挖掘、数据处理的方式方法都不再适用。因此，面对大数据，我们需要有数据密集型计算的基本模式和新型的计算范式，需要提出数据计算的效率评估方法以及研究数据计算复杂性等基本理论。由于数据体量太大，甚至有的数据本身就以分布式的形式存在，难以集中起来处理，因此对于大数据的计算需要从中心化的、自顶向下的模式转为去中心化的、自底向上、自组织的计算模式。另外，面对大数据将形成基于数据的智能，我们可能需要寻找类似“数据的体量+简单的逻辑”的方法去解决复杂问题。

3.大数据特性与数据态

这一问题综合了三个候选问题，即大数据的关系维复杂性、大数据的空间维复杂性和大数据的时间维复杂性问题。大数据往往由大量源头产生，而且常包含图像、视频、音频、数据流、文本、网页等等不同的数据格式，因此其模态是多种多样的。主要来源于多模态的大数据之间存在着错综复杂的关联关系，这种异质的关联关系有时还动态变化，互为因果，因此导致其关联模式也非常复杂。大数据的空间维问题主要关注人、机、物三元世界中大数据的产生、感知与采集，以及不同粒度下数据的传输、移动、存储与计算。另外，还需研究大数据在空间与密度的非均衡态对其分析与处理所带来的理论与技术挑战。而大数据的时间维问题意图在时间维度上研究大数据的生命周期、状态与特征，并探索大数据的流化分析、增量式的学习方法与在线推荐。最后，研究大数据的离线与在线处理对时效性要求。

4.大数据的数据变换与价值提炼

这一问题主要由“如何将大数据变小”与“如何进行大数据的价值提炼”两个问题组成，前者要在不改变数据基本属性的前提下对数据进行清洗，在尽量不损失价值的条件下减小数据规模。为此，需要研究大数据的抽样、去重、过滤、筛选、压缩、索引、提取元数据等数据变换方法，直接将大数据变小，这可以看作是大数据的“物理变化”。后者可看作是大数据的“化学反应”，对大数据的探索式考察与可视化将发挥作用，人机的交互分析可以将人的智慧融入这一过程，通过群体智慧、社会计算、认知计算对数据的价值进行发酵和提炼，实现从数据分析到数据价值判定和数据制造的价值飞跃。

5.大数据的安全和隐私问题

只要有数据，就必然存在安全与隐私的问题。随着数据的增多，大数据面临着重大的风险和威胁，需要遵守更多更合理的规定，传统的数据保护方法无法满足这一要求。因此，面对大数据的安全与隐私保护，有大量的挑战急需得到解决，具体包括：大数据计算伦理学、大数据密码学、分布式编程框架中的安全计算、远程数据计算的可信任度、数据存储和日志管理的安全性、基于隐私和商业利益保护的数据挖掘与分析、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。

6.大数据对IT技术架构的挑战

这一问题是对热点问题“大数据对于系统的要求”的新解读。大数据对于系统，不管是存储系统、传输系统还是计算系统都提出了很多非常苛刻的要求，而现有的数据中心技术难以满足大数据的需求。譬如，存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分布式存储架构不仅需要scale-up式的可扩展性，也需要scale-out式的可扩展性。因此对整个IT架构进行革命性地重构势在必行。此外，大数据平台(包括计算平台、传输平台、存储平台等)是大数据技术链条中的瓶颈，特别是大数据的高速传输，需要革命性的新技术。

7.大数据的应用及产业链

大部分大数据专家委员会的委员都认为，大数据的研究与应用一定要与领域知识相结合，尤其在开展大数据研究的初期，计算机领域的科技工作者一定要虚心向各领域的科技人员请教，真正了解和熟悉各领域发生数据的特点。针对不同的领域环境和不同的应用需求，大数据的获取、分析、反馈的方式有所不同。为此，针对不同行业与领域业务需求，我们需要展开数据特征与业务特征的研究，进行大数据应用分类与技术需求分析，构建从需求分析与业务模型，到数据建模、数据采集和总结反馈，最后到数据分析的全生命周期应用模型。其实，不同的应用环境和应用目标代表了不同的价值导向，这对于大数据的价值密度有很大的影响。

8.大数据的生态环境问题

大数据作为21世纪的“新石油”，是一种宝贵的战略资源，因此对大数据的共享与管理无疑是其生态环境的一部分。对于大数据的共享与管理，其中所有权是基础，这既是技术问题，也是法理问题。对数据的权益需要进行具体认定并进行保护，进而在保护好多方利益的前提下解决数据共享问题。为此，可能会遇到不少的障碍，包括人们对法律或信誉的顾虑，保护竞争力的需要，以及数据存储的位置和方式不利于数据的访问和传输等。此外，生态环境问题还涉及与政治、经济、社会、法律、科学等等的交叉影响问题。因为大数据将对国家治理模式、企业的决策、组织和业务流程、个人生活方式都将产生巨大的影响，所以这种影响模式值得深入研究。