大数据如何让你1秒钟看懂100万份Excel

马克思·韦伯有一个著名论断，大致是：所谓资本主义，就是用计算的方式决定所有市场行为。看看我们周遭的世界：如今每天诞生的数据量相当于人类从公元元年至大约一千年产生数据的总和；Twitter每小时诞生的数据量远超17世纪一个英国人穷尽一生接收到的信息量；2018年全球大数据方面的开支将达到令人咋舌的1140亿美元……马克思·韦伯忘了教导世人，在这个变量日趋混乱的时代，若想用计算的方式决定市场行为，该如何分辨出随数据洪流裹挟而至的福音与噪音。“未来数据将会像石油一样成为根本性资源”，但别忘了，倘若这个世界没有汽车和飞机，那么石油的归宿或许仍然是印第安人涂在身上的颜料和骗子手中的“万能药膏”。

嗯，现在对任何机构而言，大数据都催生出了更加多元的业务逻辑，但与石油一样，大数据是手段而非目的，如何让数据落地，真正降低决策成本，才是那些希望置身数据浪潮之巅的CIO/CTO们该思考的核心问题。

大体而言，大数据的整个产业链环节包括采集—处理—分析—可视化。在我看来，尽管身为视觉动物，但不少人都极易低估最后一环——大数据可视化的作用。所谓大数据可视化，即是通过分析工具，把繁杂多维的数据用艺术化的视觉语言表达出来，发掘隐匿在数据之中的潜在价值，用海云数据创始人冯一村的话说，就是“让人一秒钟之内看懂100万份Excel的数据信息。”11月3日，这家曾被比尔盖茨造访，行事却颇为低调的数据运营商，发布了最新产品图易4.0，一款自助完成数据可视化的在线工具，公开资料显示，世界500强中已有76家购买过这家数据公司产品和服务。

嗯，大数据可视化更像一种新的媒介，将比特洪流以一种界面友好的艺术形式翻译成可信赖的决策工具。当然，毫无疑问，所谓艺术性终究要归于用户体验的范畴，大数据可视化的唯一目的其实颇为直白：有用。

毕竟在互联网时代，我们已经听过太多没用的概念。

数据在流动，只是你看不见

凯文·凯利先生曾说过：“数据并非用来收藏和存储，它们需要的是流动，与其他数据相连接，数据处于流动状态，才能发挥出更为强大的作用。”而随着数据指数级的扩张，数据的自身形态似乎也在向更易“流动”的方向悄然进化：资料显示，在现存数据中有75%是“非结构化数据”，并不是之前占据主流的“结构性数据”。

所谓结构性数据，一个不错的例子就是各单位人力部门的Excel表格：每位员工的姓名，年龄，籍贯，职位，政治面貌，毕业院校……条条框框，清清楚楚，就像电子科技大学教授周涛所言：“处理这类数据，用一些简单的机器学习办法，如决策树、神经网络等就能得到各个变量间的关联，并做一些简单预测。比如在某个职岗上到底是男性、还是女性，来自于什么地区，毕业于什么学校，可能他的绩效更好。”

而非结构化数据则藏匿于比特世界的各个角落，各种文字，语音，图像，视频，社交关系，空间轨迹……他们基本异构且分别独立，如同一座座信息孤岛，人类自身不可能以类似“上帝视角”察觉各数据之间的相关性，也就难以协同工作，发挥这些数据本应拥有的价值。

事实上，海量数据的孤岛状也是不少机构驾驭数据的最大瓶颈。譬如，海云数据曾服务于某国内最大的航空公司之一，其共有3600余套系统，数据庞大，但这些系统来自于不同的系统供应商，异构数据无法实现有助于商业决策的关联分析。

非常遗憾的是，目前国内企业在进行大数据分析时，似乎仍以结构化数据为主，部分原因当然是市场上缺少真正有效且相对简单的应用工具。这也是我认为图易4.0的机会所在。

Palantir：数据宛如水晶球

非常值得关注的是，在海云数据的客户名单里，不少都是像总理办公室、地方公安局和交管局等政府职能部门，而谈及特殊机构与大数据运营商的合作关系，若你对硅谷创业公司——尤其是创业公司的估值稍有了解，无疑会想起一个“大神”级的名字：Palantir。随着最新一轮1.05亿美金的融资，这家神秘的数据公司的估值达到了202亿美金，是继Uber，小米，Airbnb之后全球估值第四高的创业公司。

那么它究竟是干嘛的？这家由彼得·蒂尔担任联合创始人，2004年就已成立的公司因从事高度机密的数据分析工作而为人侧目。据媒体报道，在它的客户眼中，Palantir恰如《指环王》中白衣巫师萨鲁曼用的水晶球一般，可看透那些暗藏于表象之外的真相。看看Palantir的传奇履历：它是美国CIA和FBI寻求的合作对象；它曾在战乱之中的巴格达计算安全驾驶路线；帮银行追回纳斯达克前主席麦道夫隐藏的数十亿美元巨款；据说曾帮助奥巴马政府追捕本·拉登行动；跟踪沙门氏菌的爆发路径；帮助摩根大通内部定位网络欺诈，当然，它也可以帮助好时公司提升巧克力的销售利润。

那么Palantir是怎么做到的？简单地讲，就是通过复杂的算法和模型，让机器拥有“上帝视角”，人类只需为它输入各个维度的海量数据，再等它输出我们迫切希望得知的结果即可，比如：到底哪里最有可能发生犯罪？嗯，想起《少数派报告》了么？

某种程度上，海云数据的产品甚至发展路径都与Palantir极为相近。彼得·蒂尔曾坦言，一开始与CIA、FBI等机构合作，流程要漫长许多，但换来的却是最为有力的背书，这会增进“普通”客户对Palantir的信任感。所以，“中国的Palantir”？也许这才是海云数据最大的野心。

事实上，从上世纪50年代计算机图形学的诞生，数据可视化已有几十年的历史。而若将视野拉至人类与数据的关系，从古埃及时代开始，人类就懂得用数据记录日常。某种意义上，判别现代社会的一大标准，即是各个领域决策层——尤其执政部门对于数字的驾驭程度，人类社会现代化进程无时不在伴随数据量的激增，因为数字是陌生人在现代社会进行精细化协作最为客观的中介。更近一步讲，似乎到了一个临界点之后，数据被悄然赋予了世界主体的地位，成为一个独立的世界。甚至在不少学者看来，比特才是这个宇宙运行的基本粒子，它们存在于一个个“是”或“否”的判断里，不可再分。倘若整个宇宙就是一台处理数据的巨型计算机，那所谓“大数据可视化”也就是一个处于襁褓之中，还在不断演变的概念了。

当然了，至少在现阶段，如巫师手中的“水晶球”那般，“让人1秒钟之内看懂100万份Excel数据信息”才是人们最为关心的，也是对大数据可视化的最佳定义。