京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:巨人间的游戏筹码
最近10年,没有一个技术名词能像大数据一样深入社会每个阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一些感想。1.辉煌的十年大数据浪潮来自三股力量推动:技术社区,市场,学术圈。2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”,明确提出 MapReduce。值得注意的是,Google 并没有发明什么,’分布执行-中央汇总’ 是最朴素古老的并行思想,Google 这篇文章价值在于,把这种并行思想流程化、规范化了,并提出了可能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。
我只列举了我熟悉的领域标志性事件,实际上每一年每个领域这个列表可以铺满一页。2.大数据仍然是巨人游戏每次重要的技术革新都带给市场一次重新洗牌的机会。这次革新体现尤为突出,值得注意的是这次变革开源社区一开始就参与进来,并且始终在技术层面上推动。这一点不同造成影响非常深刻,甚至改变了游戏规则。第一就是传统巨头和初创公司之间的硬件资源壁垒变的不明显了。Hadoop 问世之初被称为’穷人的大数据’,因为可以低成本使用廉价硬件堆叠计算能力,给那些买不起 IBM 小型机的企业,特别是创业公司,与巨头竞争的机会。
另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致,一个热门服务短时间就能吸收巨大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。相对小公司的热情拥抱,大公司用谨慎的步伐适应这个转变,特别是传统行业。第一怀疑开源产品的稳定性和安全性,第二大家习惯了付费从厂商得到支持,而不是自己参与到工具维护开发,甚至回馈技术社区。可是一旦度过转型期,大公司充分利用自己的渠道优势,资源优势,会想尽办法把大数据变成巨人游戏。技术只是入场劵,在所有门槛里,这是最低的一道。巨人的游戏考验的是装备,耐力,人力,业务积累,那些成功的小公司的绝不是凭技术胜出。大公司的优势之一是积累深厚,后劲足。大公司还有个优势是,有足够体量消化大数据的能量。如果公司业务线丰富,比如阿里、腾讯、百度、平安等,同一份数据在多个业务部门都可以释放一次能量,这给了大公司更多空间对数据精耕细作。
3.不要把数据本身当作唯一壁垒,建立自己的数据闭环数据是非常脆弱的核心竞争力,数据本身不管多么大,无法支撑一个公司的长久运营。脆弱的原因是收集成本与复制成本极度不对等,特别是当前监管落后市场很多,一家电商网站一年的交易情况一个盘阵就可以塞满;在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入囊中。公司在制定数据战略的时候要认真考虑这种不对等,多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多,实际上回顾 2010-2015 的互联网的圈地狂潮,大伙儿都在做的两件事就是:抢占入口,自建闭环。为了抢占入口各种地推烧钱,明争暗斗无需多言。入口抢到了闭环的建立更困难。典型的数据闭环是:数据在消费端生成,通过交易、服务渠道完成采集,经过清洗汇总进入仓库,加工分析应用到业务流程,市场反馈再通过消费端回来。这个闭环对业务流程的增量改进意义重大。说到闭环建设,亚马逊和 eBay 5年间的地位更替很有代表性。
2015年,亚马逊值刚刚超过了3000亿美元,eBay 曾经是亚马逊的主要竞争对手,在金融危机的2008年,两家公司的市值还不相上下,但是现在只是它市值的四分之一。这5年发生了什么?亚马逊是非常在意渠道建设和闭环打造,除了在线交易,在云计算,物流,支付,智能硬件,电子出版,新媒体都有大量投入,相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步,亚马逊采取的直营方式便于培养早期的用户,但到2001~2007年电商快速发展,抢到流量就是抢到钱,eBay这样的轻资产模式很快就能实现变现,所以它也是最先盈利的电商之一,此时亚马逊是落后的。2008年的金融危机之后,电商行业又经历了新的变化,交易额高速增长的时代告一段落,公司价值的竞争由过去的单纯交易额和用户驱动变成了价值链经营驱动,而实现了闭环经营的亚马逊的市值又实现了反超。
2015年第二季度,亚马逊服务收入已经超过60亿美元,其中三分之一来自云服务,其他的来源还包括云平台、物流、广告,这部分业务可能会成为亚马逊未来盈利能力的主要来源。4.让大数据工作落地数据最关键的一个环节是数据解读。如果并不懂数据的作用时,他们就不会参与,当他们不参与时,数据就没有价值。数据团队的工作如果不能落在实处,前面所有环节都是徒劳。Airbnb 公司的例子为数据团队如何推广工作结果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租赁公司,Aifbnd 非常有远见,在团队只有7个人的时候就有了专职大数据工程师,公司发展中每一次重大决策,数据团队都发挥了重要作用。在早期团队规模小的时候,大数据团队工作模式是集中式的,分析团队的意见可以很快传达到决策层,业务端的反馈也同样。随着公司成长,沟通链条变得越来越长,数据团队有被悬挂的感觉。其他同事不明白如何和我们互动,其他人对我们没有完全的理解。
随着时间的推移,数据团队被看成一种静态资源,被要求提供数据,而没有能够主动思考未来的机会。随后数据团队被重新组织。仍然遵循集中的管理,但是走出自己的小组,进入每个需求部门,直接同工程师、设计师、产品经理、营销人员等等沟通。这样做增加了整个公司的数据利用率,也使数据科学家成为积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市,2015年2月28日,估值将达到200亿美元。5.相信数据,不凭感觉决策以往的分析模型大多是大模型+小数据,我们对模型本身做很多的假设和约束,人为干预在抽样环节已经开始,在结果出来前就已经针对预期输出准备好可能的解释。
大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样,也不对分布做太多假设,用全样本输入;以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数据+小模型在很多领域取得了成功,特别是在决策短的情况下,只要数据量足够大,可以得到一些直接的洞见。2006年以前,赛林格受命用大数据为亚马逊增加营收,那时亚马逊作为单纯的在线零售商并不为起平台上的商家做广告,塞林格认为在广告销售有很大的利润潜力,于是将这件事汇报给了自己的老板贝索斯,后者认为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广告?”。
尽管贝索斯不喜欢也不支持这个想法,但是他允许赛林格的团队在网站上进行小规模测试,结果成为了亚马逊有史以来最盈利的项目,他们把协同过滤,结构最简单的推荐算法,做成了大数据一个经典案例。6. 大数据不是良药 大数据还在进化大数据决策的另一个极端是过分专注于大数据的技术讨论,而忽略了一个基本事实:大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来解决,但是经历十年快速发展,我们仍然处于大数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的,试图从量上突破。已经积累了大量数据的企业,可以快速兑现历史红利,当前的火爆很大程度是确实很大一部分过去二三十年甚至更久数据积累的一次集中释放.当浅层数据价值挖掘干净后,如果没有健康持久的业务模式,问题还在哪里。现在我们的大数据在五年后会变成小数据,MapReduce,Hadoop,stream computing 等概念会变成理所当然的基本操作,甚至集成在语言本身,在业务层面感知不到它们的存在。
现在或许是大数据最热闹的时代,当在大数据真正回归业务的时候,才是大数据最好的时代。能活到那一天的都是从现在开始把大数据往深处做的人。大数据不是神话,不是泡沫,它是一些实在的工具和方法的综合,是在其上构建的创意和生意。大数据已经走过十年辉煌,让我们继续期待。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19