大数据流行说明科学停滞了-CDA数据分析师官网

热线电话：13121318867

大数据流行说明科学停滞了

2016-09-09

大数据流行说明科学停滞了

话说太平洋上有个小岛，上面住了土著人，与世隔绝上千年，地处偏远，各国都对这个岛没有兴趣。直到二战时，美国发现这个岛是个非常好的中转站，就去建了个空军基地。每次飞机来了送给养，也给土著点东西比如午餐肉罐头什么的。后来战争结束了，美军关了基地离开了。后来，70年代有人去这个岛，发现土著人有个宗教，是在废弃的跑道两侧点燃两溜火把，然后祭拜，等待天神的到来。

不懂大数据，说下感觉，抛砖引玉，敬请批评。从学术界到商业届，从基因组到客户数据发掘，大数据已经流行好多年了，有少数一些成功案例，大多数就是产生一些似是而非的结论。其实大数据非常危险，首先单个数据错误可能性非常大，虽然这对得出统计数据可能没影响，但对得出精确结论影响很大。更有很多高通量低质量的数据，对统计结果都有影响，最后可能garbage in garbage out。其次数据量大了，总能形成pattern，但这不一定是真正的规律或者机制性规律。无论数据量多大，你也不能保证你采集的数据都有用，还有缺失数据，你压根都没想到的。我认为还有一个重要问题，就是有多少问题是计算机可以解决的。比如，现代的超级计算机，就算联网，给它们输入所有产生量子力学之前物理学的实验结果，比如光电效应，原子光谱等等，它们能不能产生量子力学?如果不能，凭什么就认为大数据能解决复杂系统如生物的机理性问题?

商业上一些大数据结果的效用也非常可疑。打个比方，比如Amazon买东西，总会被推荐其他的产品，是其他人买了那个东西后也买或者看过的产品。反正我没碰到过几次推荐我喜欢的，现在直接略过。当然这是小数据。但就算有一天大数据了，每个人的需求在某个时刻还是不一样的。每个人的购物习惯也不一样，还有各种偶然性。比如我喜欢先选好各种商品，比如我自己用的相机镜头，还有国内亲戚让我带的折叠童车，完全无关，还就这一次，Amazon以后就给我推荐尿不湿了，婴儿玩具了。也许大多数人符合统计规律，但这最终还是统计意义上的模糊营销。我觉得大数据流行，正说明科学停滞了，无法发现复杂系统的本质规律。而没有爱因斯坦，波尔和薛定谔那样的天才，而擅于包装的所谓能人又不喜欢闲着，资本也需要炒作。所以一拍即合。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名”