什么是大数据_大数据师什么_数据分析师培训

《自然》杂志在2008年9月推出了名为“大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色，如今这个词语近却成了工商界和金融界的新宠。关于大数据的会议和论坛如雨后春笋层出不穷，但到底什么是大数据，依然众说纷纭。我们认为，大数据具有规模大、价值高、交叉复用、全息可见四大特征！特别地，最后两个特征体现了大数据不仅仅有“规模更大的数据”这种量上的进步，还具有不同于以前数据组织和应用形式的质的飞跃。

数十年来，信息产生、组织和流通方式革命性的变化，其中个人用户第一次成为信息产生和流通的主体。你上传到flickr的一张照片规模大约一兆，上传到YouTube的一个视频恐怕有数十兆，你还通过电子邮件把这些照片和视频发给了你的朋友，用QQ和MSN聊天，用手机打电话发短信，在电子商务网站的浏览和购物，用信用卡支付，发微博，打联网游戏……这一切都将转化为数据存储在世界的各个角落。不论是产生的信息量，可以获取的信息量，还是流通交换的信息量，都一直呈指数增长。仅仅十余年，很多企业爬过MB时代，走过GB时代，现在正被赶着跑过TB时代，去迎接PB时代。事实上，如中国移动、联通、电信这样的移动通讯运营商，如谷歌、百度、阿里巴巴、腾迅、新浪这样的大互联网公司，如国家电网、交通运输部这样的职能部门，每天数据的更新量已经接近或达到了PB量级。数据规模巨大且持续保持高速增长是大数据的第一个特征。

数据规模爆炸性增长的同时，数据产生的附加价值似乎没有与之同步增长。有学者认为数据价值的密度会随着数据量增加而降低——这种悲观的论调得不到任何必然性因果关系的支持。我们认为，这种滞后情况的症结在于缺乏从海量数据中挖掘价值的高效方法和技术人员。试想一组数据的价值如果是其规模的自然对数，当你从1GB的数据中挣到9块钱，给你1PB的数据，你只能挣到15块钱。而如果该数据的价值和其规模成正比，那么1PB的数据可以给你带来900万元的价值。对于前者，我们实在惭愧称其为大数据，最多只算是“一大堆无用的数据”罢了。举个例子，精确到小数点后几亿位的π值，其规模巨大价值巨小，如果还非要往万亿位、亿亿位上进行计算和存储，恐怕是正好与大数据的理念背道而驰。{数据分析师培训}对于真正的大数据，其价值的增长应该正比于规模的增长，甚至快于规模的增长。

刚才两个特征主要还是针对单一数据，下面的两个特征强调的是若干数据之间新的组织和应用形式。如果每一个数据都是一个孤岛，只能在其直接关联的领域发挥自身的价值，那么这不是一个值得我们兴奋和期待的新时代。我们要找到和实现数据之间一加一远大于二的价值，其间最关键的问题要发挥数据的外部性，譬如国家电网智能电表的数据可以用于估计房屋空置率，淘宝销售数据可以用来判断经济走势，移动通讯基站定位数据可以用于优化城市交通设计，微博上的关注关系和内容信息可以利用于购物推荐和广告推送……以用户为中心，结合用户在不同系统留下的数据，充分利用个性化的数据挖掘技术，是实现通过数据交叉而产生巨大价值的最可行的途径之一。综上，大数据要求数据能充分发挥其外部性并通过与某些相关数据交叉融合产生远大于简单加和的巨大价值！

如果谷歌把每天超过1个PB更新的数据按照他们内部约定的格式开放给一个三四个人组成的科研团队或者创业团队，这种仁善之举不会对这个团队有任何的帮助，因为他们没有针对这种量级的数据进行检索、抓取、计算、分析的能力。也许他们仅仅只对数据内部的一个特定逻辑片段有兴趣，但是他们没有办法知道这个逻辑片段位于这个数据的哪个位置，以及通过什么办法获取。想象一个披着盔甲的二维生物，其他二维生物无法看到它的内部，但是我们作为三维人，却可以通过第三个维度看到它所有的一切细节——低维物品对于高维生物而言是全息可见的。所以说，大数据规模可以很大，但是用起来应该像操作一个“小数据”一样简单，这就要求数据组织地非常好，内部的各种内容及关联清晰可见且容易调用获取。一句话，一般研究人员和开发人员可以自如获取数据的逻辑片段并进行分析处理。