大数据是国家战略资源_数据分析师培训

大数据在科学研究和产业领域的应用价值是不容小觑的，同时大数据也会有消极的一面。要认识其中的风险，以便规范、规避问题，使其有序发展。

不能过度神话大数据的应用价值。任何一个科学研究都有前提假设，任何一个科学问题，都是在一定条件下认识和思考的。在任何时候都不应把一个简单、有限事物的价值过度夸大。面对大数据，应当关注其便捷性和有效性，理性分析自身的需求和应用价值。

大数据从本质上要求信息开放，而信息开放是一个复杂问题。有些涉及行业内部竞争，受到商业因素影响，企业不愿意开放；有些涉及个人或者行业本身的隐私或机密，无法开放。在大数据应用的过程中，对互联网用户隐私权和数据的保护，是开放信息时的重要考虑因素。

在思考这一问题时，国家应该具体问题具体分析。政府应该审慎分析哪些领域的数据能开放，考虑开放共享后数据的管理、数据的质量、数据的隐私和数据的保护等问题。

有些信息涉及个人信息、产业核心机密，甚至国家战略安全，应该加强保护，更有效发挥它的价值；有些科学界的数据、大型实验项目的成果，开放后能够促进学术交流，提升研究效率，则应该鼓励开放。

大数据的价值挖掘

如何发展大数据已经成为国家、社会、产业的一个重要话题。目前，欧美、日韩等国已经将大数据上升为国家层面的战略。将一个问题提升到国家和政府层面，说明其存在对社会和国家的综合价值。

从大数据应用的角度来看，大数据涉及重要的领域资源问题。地球信息科学、金融、信息技术、物理领域都在积极推进大数据应用落地。利用大数据提供个性化、规模化的教育，对人身体机能进行分析进而提升癌症治疗效果等，这些关系到重大民生领域的应用也备受关注。

广泛应用决定了大数据技术的发展是国家多行业、多领域的共同任务。目前，各界对大数据的理解还不够成熟，这需要政府、学界和产业合作推进各界对这一问题的认识。

挖掘大数据的价值，推动大数据的发展，政府需要发挥作用。大数据是一个众多关键行业关注的问题，从国家角度来看，大数据是一种重要的战略资源。

同时，学术界要和产业界共同支持和鼓励大数据的发展。只有学术和产业价值融合，才能真正发挥大数据的应用价值。虽然学术界和产业界关注的价值点并不完全一致，但仍存在一些共性。发现和利用其中的共性，对解决发展大数据战略中出现的问题很重要。

跨界合作是积极且有意义的尝试，学术界可以致力于基础技术的研究，盈利模式的分析则由企业去完成。同时，学术界和产业界在某些交叉领域形成竞争也是一种良性的模式。一些大企业会对前沿技术和数据积累追踪最新的学术成果，甚至自己做学术研究，学术界也在积极推进产业化思考。

目前，我国互联网产业在经过一段时间后，已经具备一定的数据分析基础，在很多领域具有结合实践发展的能力。但是大数据的价值密度是比较低的，有针对性地选择和分析，才能使数据的价值最大化，或者说使隐含的价值被人们逐步认识和挖掘出来。这应是学术界和产业界共同努力的方向。

大数据的科学问题

大数据是指利用现有分析工具无法在合理时间内处理的数据，意味着数据海量、传播速度快捷、种类丰富。大数据的本质是一个科学计算问题。

物联网的兴起、移动计算技术的发展、各类传感器等嵌入系统的广泛应用都使得人类取得的数据量在短时间内激增。每18个月，甚至每10个月，需要处理的数据量就会翻一番。在这一背景下，现有的数据分析工具在数据的表示方法、计算模式、价值挖掘技术等领域遇到了瓶颈。

一方面，极大的数据量使传统的商业数据库在处理价值密度低的大数据时，需要付出极高成本；另一方面，从数据计算角度看，传统计算机采用的算法复杂度非常高。传统计算机的计算方式依赖于机器复杂的算法，在面临极大规模的数据时，数据计算的能力受到了挑战。

这种高成本的数据处理、复杂化的数据计算，使得小样本空间下计算的优劣判定方法在大数据时代发生变化。这种挑战敦促学者尝试在研究过程中找到科学计算的特性，在信息处理模式、数据多样性表示方法上取得突破。

目前在研究大数据时，广泛采用的是Hadoop技术架构，是并行机制，即通过简单的编程来完成一个整体核心计算。在大数据时代，数据不断增长提出的增量计算要求，数据量巨大造成的近似计算要求，都让传统的应用软件和计算方法不堪重负。

增量计算要求、近似计算要求和归纳计算要求共同构成了大数据计算的科学问题。学者应该充分理解这些计算的特性，找到数据的关联关系，以便为大数据的分析和预测提供方法和手段。

大数据的产业价值

大数据的发展，既包括科学问题，也存在产业价值和经济价值问题。在大数据问题上，产业界与学术界的关注点不尽相同。互联网公司密切关注的是如何利用大数据形成新的产业链条。目前，百度、谷歌、阿里巴巴等公司正在积极研究如何利用大数据推动新的商业模式，产生新的商业链条，包括通过电子商务来建立产品的关联关系，利用大数据进行有效的电子商务分析等。

面对新技术应用时，学术界和产业界都会形成各自的态度和方案，这一点是正常的。学术界会关注如何解决科学计算的问题，产业界可能更加关注大数据如何创造新的产业价值以及经济价值。

在探索大数据的经济价值时，产业界的逐利性决定了部分企业不会致力于研究大数据的技术应用问题，也不会去思考大数据的长远发展问题，只是通过炒作概念，利用大数据进行投机。对这一现象，我们也不必过度担心。

聪明的投资者会对大数据的核心价值作出判断，审慎地分析大数据和自己的关系，市场终将用脚投票。同时，学术界不会因为市场存在炒作而忽略对问题的理解，改变对研究问题走势的判断。