京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:巨人间的游戏筹码
最近10年,没有一个技术名词能像大数据一样深入社会每个阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一些感想。1.辉煌的十年大数据浪潮来自三股力量推动:技术社区,市场,学术圈。2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”,明确提出 MapReduce。值得注意的是,Google 并没有发明什么,’分布执行-中央汇总’ 是最朴素古老的并行思想,Google 这篇文章价值在于,把这种并行思想流程化、规范化了,并提出了可能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。
我只列举了我熟悉的领域标志性事件,实际上每一年每个领域这个列表可以铺满一页。2.大数据仍然是巨人游戏每次重要的技术革新都带给市场一次重新洗牌的机会。这次革新体现尤为突出,值得注意的是这次变革开源社区一开始就参与进来,并且始终在技术层面上推动。这一点不同造成影响非常深刻,甚至改变了游戏规则。第一就是传统巨头和初创公司之间的硬件资源壁垒变的不明显了。Hadoop 问世之初被称为’穷人的大数据’,因为可以低成本使用廉价硬件堆叠计算能力,给那些买不起 IBM 小型机的企业,特别是创业公司,与巨头竞争的机会。
另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致,一个热门服务短时间就能吸收巨大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。相对小公司的热情拥抱,大公司用谨慎的步伐适应这个转变,特别是传统行业。第一怀疑开源产品的稳定性和安全性,第二大家习惯了付费从厂商得到支持,而不是自己参与到工具维护开发,甚至回馈技术社区。可是一旦度过转型期,大公司充分利用自己的渠道优势,资源优势,会想尽办法把大数据变成巨人游戏。技术只是入场劵,在所有门槛里,这是最低的一道。巨人的游戏考验的是装备,耐力,人力,业务积累,那些成功的小公司的绝不是凭技术胜出。大公司的优势之一是积累深厚,后劲足。大公司还有个优势是,有足够体量消化大数据的能量。如果公司业务线丰富,比如阿里、腾讯、百度、平安等,同一份数据在多个业务部门都可以释放一次能量,这给了大公司更多空间对数据精耕细作。
3.不要把数据本身当作唯一壁垒,建立自己的数据闭环数据是非常脆弱的核心竞争力,数据本身不管多么大,无法支撑一个公司的长久运营。脆弱的原因是收集成本与复制成本极度不对等,特别是当前监管落后市场很多,一家电商网站一年的交易情况一个盘阵就可以塞满;在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入囊中。公司在制定数据战略的时候要认真考虑这种不对等,多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多,实际上回顾 2010-2015 的互联网的圈地狂潮,大伙儿都在做的两件事就是:抢占入口,自建闭环。为了抢占入口各种地推烧钱,明争暗斗无需多言。入口抢到了闭环的建立更困难。典型的数据闭环是:数据在消费端生成,通过交易、服务渠道完成采集,经过清洗汇总进入仓库,加工分析应用到业务流程,市场反馈再通过消费端回来。这个闭环对业务流程的增量改进意义重大。说到闭环建设,亚马逊和 eBay 5年间的地位更替很有代表性。
2015年,亚马逊值刚刚超过了3000亿美元,eBay 曾经是亚马逊的主要竞争对手,在金融危机的2008年,两家公司的市值还不相上下,但是现在只是它市值的四分之一。这5年发生了什么?亚马逊是非常在意渠道建设和闭环打造,除了在线交易,在云计算,物流,支付,智能硬件,电子出版,新媒体都有大量投入,相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步,亚马逊采取的直营方式便于培养早期的用户,但到2001~2007年电商快速发展,抢到流量就是抢到钱,eBay这样的轻资产模式很快就能实现变现,所以它也是最先盈利的电商之一,此时亚马逊是落后的。2008年的金融危机之后,电商行业又经历了新的变化,交易额高速增长的时代告一段落,公司价值的竞争由过去的单纯交易额和用户驱动变成了价值链经营驱动,而实现了闭环经营的亚马逊的市值又实现了反超。
2015年第二季度,亚马逊服务收入已经超过60亿美元,其中三分之一来自云服务,其他的来源还包括云平台、物流、广告,这部分业务可能会成为亚马逊未来盈利能力的主要来源。4.让大数据工作落地数据最关键的一个环节是数据解读。如果并不懂数据的作用时,他们就不会参与,当他们不参与时,数据就没有价值。数据团队的工作如果不能落在实处,前面所有环节都是徒劳。Airbnb 公司的例子为数据团队如何推广工作结果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租赁公司,Aifbnd 非常有远见,在团队只有7个人的时候就有了专职大数据工程师,公司发展中每一次重大决策,数据团队都发挥了重要作用。在早期团队规模小的时候,大数据团队工作模式是集中式的,分析团队的意见可以很快传达到决策层,业务端的反馈也同样。随着公司成长,沟通链条变得越来越长,数据团队有被悬挂的感觉。其他同事不明白如何和我们互动,其他人对我们没有完全的理解。
随着时间的推移,数据团队被看成一种静态资源,被要求提供数据,而没有能够主动思考未来的机会。随后数据团队被重新组织。仍然遵循集中的管理,但是走出自己的小组,进入每个需求部门,直接同工程师、设计师、产品经理、营销人员等等沟通。这样做增加了整个公司的数据利用率,也使数据科学家成为积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市,2015年2月28日,估值将达到200亿美元。5.相信数据,不凭感觉决策以往的分析模型大多是大模型+小数据,我们对模型本身做很多的假设和约束,人为干预在抽样环节已经开始,在结果出来前就已经针对预期输出准备好可能的解释。
大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样,也不对分布做太多假设,用全样本输入;以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数据+小模型在很多领域取得了成功,特别是在决策短的情况下,只要数据量足够大,可以得到一些直接的洞见。2006年以前,赛林格受命用大数据为亚马逊增加营收,那时亚马逊作为单纯的在线零售商并不为起平台上的商家做广告,塞林格认为在广告销售有很大的利润潜力,于是将这件事汇报给了自己的老板贝索斯,后者认为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广告?”。
尽管贝索斯不喜欢也不支持这个想法,但是他允许赛林格的团队在网站上进行小规模测试,结果成为了亚马逊有史以来最盈利的项目,他们把协同过滤,结构最简单的推荐算法,做成了大数据一个经典案例。6. 大数据不是良药 大数据还在进化大数据决策的另一个极端是过分专注于大数据的技术讨论,而忽略了一个基本事实:大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来解决,但是经历十年快速发展,我们仍然处于大数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的,试图从量上突破。已经积累了大量数据的企业,可以快速兑现历史红利,当前的火爆很大程度是确实很大一部分过去二三十年甚至更久数据积累的一次集中释放.当浅层数据价值挖掘干净后,如果没有健康持久的业务模式,问题还在哪里。现在我们的大数据在五年后会变成小数据,MapReduce,Hadoop,stream computing 等概念会变成理所当然的基本操作,甚至集成在语言本身,在业务层面感知不到它们的存在。
现在或许是大数据最热闹的时代,当在大数据真正回归业务的时候,才是大数据最好的时代。能活到那一天的都是从现在开始把大数据往深处做的人。大数据不是神话,不是泡沫,它是一些实在的工具和方法的综合,是在其上构建的创意和生意。大数据已经走过十年辉煌,让我们继续期待。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在日常办公中,数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法(Finite Element Method, FEM)作为工程数值模拟的核心工具,已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代,“以用户为中心”已成为企业运营的核心逻辑,而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA(Certifi ...
2026-02-28在Python面向对象编程(OOP)中,类方法是构建模块化、可复用代码的核心载体,也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中,索引是提升查询效率的核心手段—— 面对千万级、亿级数据量,合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27在数字化时代,企业积累的海量数据如同散落的珍珠,若缺乏有效的梳理与分类,终将难以发挥实际价值。CDA(Certified Data Analys ...
2026-02-27在问卷调研中,我们常遇到这样的场景:针对同一批调查对象,在不同时间点(如干预前、干预后、随访期)发放相同或相似的问卷,收 ...
2026-02-26在销售管理的实操场景中,“销售机会”是核心抓手—— 从潜在客户接触到最终成交,每一个环节都藏着业绩增长的关键,也暗藏着客 ...
2026-02-26在CDA数据分析师的日常工作中,数据提取、整理、加工是所有分析工作的起点,而“创建表”与“创建视图”,则是数据库操作中最基 ...
2026-02-26在机器学习分析、数据决策的全流程中,“数据质量决定分析价值”早已成为行业共识—— 正如我们此前在运用机器学习进行分析时强 ...
2026-02-25在数字化时代,数据已成为企业决策、行业升级的核心资产,但海量杂乱的原始数据本身不具备价值—— 只有通过科学的分析方法,挖 ...
2026-02-25在数字化时代,数据已成为企业核心资产,而“数据存储有序化、数据分析专业化、数据价值可落地”,则是企业实现数据驱动的三大核 ...
2026-02-25在数据分析、机器学习的实操场景中,聚类分析与主成分分析(PCA)是两种高频使用的统计与数据处理方法。二者常被用于数据预处理 ...
2026-02-24在聚类分析的实操场景中,K-Means算法因其简单高效、易落地的特点,成为处理无监督分类问题的首选工具——无论是用户画像分层、 ...
2026-02-24数字化浪潮下,数据已成为企业核心竞争力,“用数据说话、用数据决策”成为企业发展的核心逻辑。CDA(Certified Data Analyst) ...
2026-02-24CDA一级知识点汇总手册 第五章 业务数据的特征、处理与透视分析考点52:业务数据分析基础考点53:输入和资源需求考点54:业务数 ...
2026-02-23CDA一级知识点汇总手册 第四章 战略与业务数据分析考点43:战略数据分析基础考点44:表格结构数据的使用考点45:输入数据和资源 ...
2026-02-22CDA一级知识点汇总手册 第三章 商业数据分析框架考点27:商业数据分析体系的核心逻辑——BSC五视角框架考点28:战略视角考点29: ...
2026-02-20CDA一级知识点汇总手册 第二章 数据分析方法考点7:基础范式的核心逻辑(本体论与流程化)考点8:分类分析(本体论核心应用)考 ...
2026-02-18第一章:数据分析思维考点1:UVCA时代的特点考点2:数据分析背后的逻辑思维方法论考点3:流程化企业的数据分析需求考点4:企业数 ...
2026-02-16