你的大数据项目失败的三大关键因素

说到大数据，有一个网上流传已久的段子： Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it. (大数据就像是青少年谈性：每个人都在说，不知道谁真的做了，每个人都认为其他人做了，所以每个人都声称自己在做… )

这个段子虽然是调侃，但是的确极其准确的反应了机构大数据之路的现状和尴尬处境：现在的大环境是上至相关领导，下至基层员工都知道大数据的重要性。但是落实到实施，很多机构、企业都面临相同的困境：自己大数据发展的方法论和落地支点到底在哪里?他山之石如何攻己之玉?我的大数据之路在何方?这些都是困扰机构大数据项目的难题。

带着这些问题，笔者分析了现今市场上一些典型的行业和企业案例(覆盖互联网、政府、金融、通信、电子商务和大型企业)和自己过去十几年服务过的总计近百家机构和企业的大数据发展之路，试图找出其成败的关键因素。最终笔者发现，机构大数据之路的关键点可以如下图所示，即业务能力(3个基础支点)、技术能力(3个难点)和整合能力：

一个机构或企业要做好自己的大数据应用，业务层面首先要做好各个业务系统和业务数据平台的建设和规划，在此基础上做好合适自己的数据运营支撑体系。

在技术层面，要求具备一定的搜索、商业智能和人工智能等技术在业务系统中运用的能力。这三项技术对技术人员专业性的要求比较高。在相关人才缺乏的市场环境下，由于众多VC支撑的新兴互联网公司高薪疯抢和囤积相关人才，使得在传统IT意识下运营操作的机构大数据项目一将难求，举步维艰。

在业务和技术能力的基础上，机构大数据应用若要起飞还需要从管理、组织机构和企业文化的角度建立起自己的运营支撑体系，让相关项目能够在机构内进入一个良性循环的路径。

由此可见，要落实好大数据应用，机构必或企业须做好发生综合性转变的思想准备。这种转变是一个系统工程而不是传统意义上的IT项目，更不是简单的技术算法工作。以下详细说明上述三个关键点。

业务体系的建设和运营能力是大数据应用的基础

机构要做好自己的大数据应用，业务系统和业务数据建设是基础。金融和电信行业的机构前些年都建设了自己的数据平台(例如数据仓库，MDM等相关项目)，情况相对比较良好。其他机构客户这方面差异比较大，这取决于机构自身过去的IT投入和发展状况。

笔者建议，正在策划和推进大数据项目的机构一定要对自身业务系统发展状态、业务数据平台建设状态和数据运营能力有一个清晰的认知，并根据自身的状况设置可实现的“一个亿”小目标。

技术能力是大数据应用的核心支撑

做好机构大数据应用的技术关键点到达是什么?微软大数据研究中心的一位专家有这样的观点：“hadoop, spark, HBase 等技术都是实现手段和IT构架元素，大数据关键技术60%是搜索，40%是商业智能和人工智能。。。”。根据多年服务于不同行业客户的实践，我很认同这个说法。当然这里的搜索不是一般人理解的类似百度这样的搜索， 有一个专业的词叫做“企业搜索”- Enterprise Search。

搜索为什么这么重要?根据Gartner等机构的长期研究，一个机构内部数据构成如下图所示，20%结构化， 80%非结构化。数据库技术是对20%的结构化数据管理、挖掘和交互的理想技术。但是数据库技术运用到占80%的非结构化数据上，其效率和能力将随数据量的增长而呈指数性下降。企业搜索技术正好完美补充了数据库技术的这个空缺。而在大数据的世界里，结构化信息和非结构化信息是同等重要的，由此可以看出搜索的重要性不言而喻了。

除了搜索外，商业智能也是机构大数据项目技术能力的另一个重要因素。大数据时代的到来要求老的商业智能必须拓展底层数据的覆盖范围至非结构化数据部分，从而也带来了新的挑战。

人工智能、特别是机器学习在数据层面可以很好的支撑和提升数据挖掘、分类和信息关联;在业务层面，则可以更智能的满足管理运营、营销和战略决策需求，也是大数据体系落实到具体业务系统必须面对和掌握的技术关键。

别让整合能力成为大数据系统工程的短板

是否有了业务能力的储备，解决好关键技术落地问题，机构大数据项目就坦途一片了呢?前面我们已经谈到机构大数据项目是一个系统工程。其原因是我们发现大数据业务做得好的机构，其大数据推进过程中涉及的面不仅包括业务、数据、运营和技术，还包括管理、组织结构、机构工作文化和团队建设问题。这其实是对一个机构的综合整合能力的考验!

这里我想通过分析两个案例来说明我的观察和观点：

案例一：某知名电商，通过多年的自身投入和并购累计了大量的经验和人才，其大数据已可有效支撑电子商务的很多关键业务，如精准营销(SEO, SEM, DSP投放)、会员营销、联盟营销、站内搜索和商品管理等，但是运行起来依旧存在很多问题。笔者经过调研发现，公司管理层面存在大数据团队建设重叠(内部就总监级别带领的大数据团队就有三个，而这三个团队的总监并无密切合作);IT落地未能闭合核心数据链(公司投资数百万在国际知名软件厂家产品基础上搭建的相关产品推荐也存在严重实施缺陷);电商核心业务KPI所需的职责界定和人员投入反倒显得很不充分。笔者在这个案例里发现的很多问题涉及的是企业文化、管理、运营相关的组织结构和团队建设问题，和前面两部分讨论的业务体系能力和技术能力并无太大关系。现在看来该电商高额的投入由于自身整合能力的问题并未及时获得应有的产出，在电商战场上最终丧失了很多机会。

案例二：这是一个有点黑色幽默的成功案例：某新兴媒体公司化重金从某传统互联网公司挖了两个关键人物，搭建自己的技术和运营体系。系统上线后，各种原因，不尽人意。矛盾焦点聚焦在这两个技术运营大牛身上。CEO在平衡了各方意见后狠心裁掉了这两个高薪大牛。在大牛离职后几个月时间里，在没有主要更新升级的情况下，目标业务数据开始越来越好：大牛们搭建大数据解决方案效果开始凸显!CEO方知自己过于急躁，错失良将。大数据这条路虽然充满魅力，但有时候需要的是多一点的耐心和契合实际的期望值!

涉及到管理、组织结构调整和机构文化团队建设的机构整合能力，是促成机构大数据项目起飞的重要因素。其需要的不光是大数据团队的努力，相关管理团队的正确认知和支持也是大数据项目成败的重要因素。

结束语

大数据虽然像青少年的“sex life”，充满魅力和迷惑挑战，但也是机构和企业必须面对和经历的历程。大数据之路对机构和企业来说是一种需要集体信念支撑的选择。笔者认为机构无论自身业务、技术和整合能力现阶段如何，只要能真正根据自身发展阶段，制定适合自己的相对长期大数据发展策略，设定现实可实现的“小目标”，小步快跑，进入大数据业务发展的正向轨道，则一定能够到达胜利的彼岸， 迎来属于自己的大数据春天