破解大数据价值难题

尽管大数据并不是忽悠，但并不是说只要开放了数据就可以轻易地发现“金矿”.邓侃博士表示，开放数据之后，会产生大量的有益的中间结果，而这促成了最后的成功。
    邓侃强调，大数据是不是忽悠关键一条是能不能发现价值，如果在数据中发现不了价值，那就是忽悠；发现了价值，那就是创造了一个巨大的利润点。对于中国移动来说，开放了所有的网络日志，集思广益，可以让大家让全世界的神人们来帮你发现有价值的信息。
    发现其中的价值靠什么东西呢？邓博士指出，是靠中间的地方，算法，数据挖掘的算法。他认为，中间这个地方，要有数据挖掘的算法加上云计算的并行计算。分布式的云存储平台则提供更加廉洁的成本，可以存储中国移动、中国联通等等的大数据。为什么要用并行计算？因为大数据的量太大了，你简单算的话，几个月也算不下来，时间就是价值的一部分，所以你要用并行计算加速数据的处理。
    邓侃博士特别说明了APP Stroe的意义。他说，那些开放以后来自外界的专家提供的不一定是最后的答案，但是他们完全可以提供很多很有价值的中间工具，中间的工具串联在一起，就极有可能促成发现最后的价值信息。所以，在我们就特别强调这个中间的工具，这就是我们APP Stroe的意义所在。
    此外，邓侃还提到，你开放的同时，很多的机密数据也出去了，怎么解决这个机密和你开放中间的矛盾？这是一个很大的挑战。
    由中国移动主办的“第六届移动互联网国际研讨会”,聚焦于云、管、端、“台”,更广泛、更深入地探索构建合作共赢的产业新生态，打造移动互联新生活。大数据、云计算和移动互联网都是当前IT发展的热门趋势，因此与会者也就这些新技术与移动生活紧密结合进行讨论。
    以下为现场演讲速记：
    邓侃：刚才张所长对我很多赞美之词，我不好意思，因为几个小时前刚刚遭受过打击，就在我来会场的路上碰到一个熟人，他问你去干吗？我说我去中国移动的大会，他说什么题目？我说无线城市与大数据，他说你又去忽悠？我说这个又字怎么说？他说你以前讲云计算是一个忽悠，后来又讲互联网，云里雾里都是忽悠，那东西还没忽悠完，你又开始讲大数据，会不会再是一个忽悠？我说你的问题问得非常好，我做两个保证，第一个保证就是我今天的演讲保证都是干货，第二绝对是讲实话，爆大料。
    首先回答一个问题，大数据是不是忽悠？所谓忽悠讲简单一点，直白一点，就是能不能挣到钱？如果能挣到钱就不是忽悠，如果大家忙了一通白忙就是忽悠。所以我这边举一个典型的大数据的场景，看一看大数据能不能挣到钱。这个例子是一个加拿大公司的例子，发生在1999年，这个公司叫做GoldCorp,是一个矿产公司，一直到99年的时候，整个公司的财政情况急剧恶化，大家觉得不行了，要最后一搏。这个时候，他们换了一个新的CEO,这个CEO比较年轻，思想比较激进，刚从MIT上课回来，这个人不是搞计算机的，但是听说了开元系统这么一个新鲜的玩意，他觉得既然我们的工程师在地下面挖不出金子，我有没有可能把所有的地质数据放到网上公开一下，或许有哪些神人能发现呢？这就是吸取了开元的经验。后来他真做了，他把他们公司对于这个地区从1948年开始的所有地质数据全部放到网上公开了，自然好事就来了，很快收到了各种各样的回馈，公司给他们制定了110个勘探点，超过了80个地点找到了金子，于是股价又回来了。所以很多记者来采访他的经验得失。
    但是你去浏览一下这样的着名案例的分析和反馈，大家似乎很间咱，说你开源了，开放数据了，情况就发生了。实际是不是这样呢？仔细对一下对他们CEO的采访，你会发现第一件事情，是不是我开放了数据在全世界的人就发现了110个矿点呢？仔细看看CEO的采访录，不是的。实际上有很多中间环节，这个CEO讲了一件事，是说当时的数据展开之后，这个是日本三菱还是哪个公司驻在麻省的研究院，那帮人是研究CT信号之后，又从CT信号产生人体器官的3D图的，是医疗成像方面的研究，和地质没有关系。但是正好其中有一个研究员听说有一个地质数据，于是就拿医疗方面的成像数据拿到地质方面做了修改，结果大获成功。这个 CEO是这么描述的，他说当这个研究院的人到他们公司来用医疗3D技术展示地质层面构造的时候，所有在场的高管几乎跳起来了。但是记住一个问题，这个不是最后的矿点，但是因为你有了这么一个3D的地质模型之后，大家很容易发现这个矿难的走向，于是对他后面找到110个矿点创造了非常好的条件。所以，这是第一个方面，开放数据之后，会产生大量的有益的中间结果，而这促成了最后的成功。
    第二条说开放数据，尤其对于这种矿业公司，非常传统的公司来讲，开放这种公司数据是不可思议的事情。很多人认为这是公司吃饭的老本，就像可口可乐配方一样，是不是这样呢？很多采访人都说，其实没关系，你开放也可以，所谓的那些公司机密可能只是公司内部的工程师不愿意让自己丢丑的借口。实际情况是不是这样呢？不是的，因为在这之后，他们成功了，当时很多声音就说你把所有的矿产地质结构数据开放，也许可以发现更多的金子，但是他们没有这么干，他是在绝望的情况下开放的。所以，这个地方就有一个很大的矛盾，如果你开放了数据，集思广益，你能够创造价值。但是，你开放的同时，很多的机密数据也出去了，怎么解决这个机密和你开放中间的矛盾？这是一个很大的挑战。
    说了这个故事想说什么呢？大数据是不是忽悠关键一条是能不能发现价值，如果在数据中发现不了价值，那就是忽悠；发现了价值，那就是创造了一个巨大的利润点。这个事情和我们无线城市、和我们中国移动有没有关系呢？我想是有的，这一张图实际上是我们3G一般的架构图，3G中间经过了很多的网络环节，每一个环节会产生大量的数据，我们这些数据都记录在哪里呢？日志里面、数据库里面等等，这些信息有没有用呢？有人说有，有人说没有，比如有人跟我讲，到这个数据之后，你可以看到任何一个地方可以看到城市什么地方是人比较多的地方，什么地方是人比较少的地方。假设你知道A和B关系很密切，你想干什么呢？他们可以告你侵犯隐私，所以这些大数据，尤其是网络运营商积淀下来的在数据中间，什么样的东西是有价值的，如何发现这些信息，实际上是一个艺术，是个经验，而不仅仅是个技术问题。所以，我刚才说了，我说我绝不忽悠、绝不骗人，其中有一条是我坚决说老实话。
    回到刚才的问题，如果中国移动开放了所有的网络日志，这些大数据中什么样的信息是有价值的？我的回答是不知道，但是也许你可以开放这些数据，集思广益，让大家让全世界的神人们来帮你发现这些信息。接下去的问题是说你要开放一个数据，你要做一个平台，请问你的平台是怎么做的？这个我知道。这个是我们的一个假想图，但是不要以为我是纸上谈兵，我先卖一个关子。这个图最右边很简单，是一些分布式的云存储，说我们用一大堆便宜的服务器把中国移动、中国联通等等的大数据往里面一存，光有存储是不是够呢？是不够的，因为我们刚才说了，大数据是不是忽悠？关键问题在于你能不能发现其中的价值，发现其中的价值靠什么东西呢？靠中间的地方，算法，数据挖掘的算法，所以，你中间这个地方，你要有数据挖掘的算法加上云计算的并行计算。为什么要用并行计算？因为大数据的量太大了，你简单算的话，几个月也算不下来，时间就是价值的一部分，所以你要用并行计算加速数据的处理。最前面是什么？它是一个APP Stroe.那些开放以后来自外界的专家提供的不一定是最后的答案，但是他们完全可以提供很多很有价值的中间工具，中间的工具串联在一起，就极有可能促成发现最后的价值信息。所以，在我们中间就特别强调这个中间的工具，这就是我们APP Stroe的意义所在。云计算的平台第一是你的存储要便宜，你买一大堆垃圾的服务器，串在一起有一个非常漂亮的名称就叫云存储。
    刚才我说的是技术架构，在这个技术架构里面，实际上牵扯到很多很多的人和物。首先，左边是说我们有很多数据来源。刚才我们举例说中国移动有网络日志，我们还有舆情分析等等，我们称之为数据来源。数据来源放进去之后，你要发现不了价值那就是垃圾，怎么才能发现呢？我刚才讲了，那是艺术、那是经验，靠很多人，其中最主要的一种人是教授、学者。那些人一天到晚看着文案想主意，然后他发现一种新的算法，应用开发商来应用，开发出一个很简单好用的应用，这个应用就是说我有一个功能性的东西，怎么才能让用户喜欢呢？我们需要一个产品设计师，你有了产品了，也能够推到市场，但是需要钱，谁来帮你做这个事呢？投资商进来，然后你有了产品为谁服务？三种人，最终消费者、企业、政府。所以，你要想促成这个大数据产业的繁荣，实际上就要团结很多人形成一个生态系统共同繁荣，其中最最主要的实际上是两条。第一个是扩大数据的来源，第二个是尽可能发现大数据中间的价值，抓住这两条，大数据产业就能繁荣。
    这个实际上是说一个产业一个学界上的开放平台，叫KDD,这是洛杉矶分校搞的一个，在所有的数据应用中间，这个地方是被引用最高的。大数据样本很多人在捐，已经联系到中国移动、中国联通以及好几家银行，还有中国海关、中国政府部门，他们会提供一些数据的样本，什么叫样本呢？样本是说一个部分的区域，不是全国的，而且是经过处理的，把一些真实的信息去掉，保护隐私。所以，数据有了，接下去，我们刚才说这个数据平台，那是要钱的，现在钱也有了。这张照片是我周五刚刚拍的，在西二旗中关村软件园，右边旗杆这个地方的楼是北京市政府指定给云基地的，在云基地里面搞一个什么东西呢？叫集客共和国，GeekCafe,首先它是一个咖啡店，在里面干吗？交流思想，思想是碰撞出来的。第二个叫GeekShow,实际上是一个展厅，大家做出来产品模型可以去贩卖。第三个是GeekLab,大家可以坐下来在一起工作。我们搞这个东西干什么呢？我们实际上是想做一个实验，这个实验首先是发现了大数据有什么价值；第二个是团结这帮集客，这帮很牛的工程师，这帮人代表了能力；第三是一个不成熟的产品的原型。有了这三样之后，我们就可以把需求、研究、投资、产品、市场几样要素串联起来。所以，参与这个集客共和国的这些人，有学者、工程师、媒体、投资人，你开发一个东西，我们卖给大公司，由他开发产品，我们抽个 10%,15%GeekLab就可以养活了。