京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:巨人间的游戏筹码
最近10年,没有一个技术名词能像大数据一样深入社会每个阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一些感想。1.辉煌的十年大数据浪潮来自三股力量推动:技术社区,市场,学术圈。2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”,明确提出 MapReduce。值得注意的是,Google 并没有发明什么,’分布执行-中央汇总’ 是最朴素古老的并行思想,Google 这篇文章价值在于,把这种并行思想流程化、规范化了,并提出了可能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。
我只列举了我熟悉的领域标志性事件,实际上每一年每个领域这个列表可以铺满一页。2.大数据仍然是巨人游戏每次重要的技术革新都带给市场一次重新洗牌的机会。这次革新体现尤为突出,值得注意的是这次变革开源社区一开始就参与进来,并且始终在技术层面上推动。这一点不同造成影响非常深刻,甚至改变了游戏规则。第一就是传统巨头和初创公司之间的硬件资源壁垒变的不明显了。Hadoop 问世之初被称为’穷人的大数据’,因为可以低成本使用廉价硬件堆叠计算能力,给那些买不起 IBM 小型机的企业,特别是创业公司,与巨头竞争的机会。
另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致,一个热门服务短时间就能吸收巨大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。相对小公司的热情拥抱,大公司用谨慎的步伐适应这个转变,特别是传统行业。第一怀疑开源产品的稳定性和安全性,第二大家习惯了付费从厂商得到支持,而不是自己参与到工具维护开发,甚至回馈技术社区。可是一旦度过转型期,大公司充分利用自己的渠道优势,资源优势,会想尽办法把大数据变成巨人游戏。技术只是入场劵,在所有门槛里,这是最低的一道。巨人的游戏考验的是装备,耐力,人力,业务积累,那些成功的小公司的绝不是凭技术胜出。大公司的优势之一是积累深厚,后劲足。大公司还有个优势是,有足够体量消化大数据的能量。如果公司业务线丰富,比如阿里、腾讯、百度、平安等,同一份数据在多个业务部门都可以释放一次能量,这给了大公司更多空间对数据精耕细作。
3.不要把数据本身当作唯一壁垒,建立自己的数据闭环数据是非常脆弱的核心竞争力,数据本身不管多么大,无法支撑一个公司的长久运营。脆弱的原因是收集成本与复制成本极度不对等,特别是当前监管落后市场很多,一家电商网站一年的交易情况一个盘阵就可以塞满;在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入囊中。公司在制定数据战略的时候要认真考虑这种不对等,多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多,实际上回顾 2010-2015 的互联网的圈地狂潮,大伙儿都在做的两件事就是:抢占入口,自建闭环。为了抢占入口各种地推烧钱,明争暗斗无需多言。入口抢到了闭环的建立更困难。典型的数据闭环是:数据在消费端生成,通过交易、服务渠道完成采集,经过清洗汇总进入仓库,加工分析应用到业务流程,市场反馈再通过消费端回来。这个闭环对业务流程的增量改进意义重大。说到闭环建设,亚马逊和 eBay 5年间的地位更替很有代表性。
2015年,亚马逊值刚刚超过了3000亿美元,eBay 曾经是亚马逊的主要竞争对手,在金融危机的2008年,两家公司的市值还不相上下,但是现在只是它市值的四分之一。这5年发生了什么?亚马逊是非常在意渠道建设和闭环打造,除了在线交易,在云计算,物流,支付,智能硬件,电子出版,新媒体都有大量投入,相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步,亚马逊采取的直营方式便于培养早期的用户,但到2001~2007年电商快速发展,抢到流量就是抢到钱,eBay这样的轻资产模式很快就能实现变现,所以它也是最先盈利的电商之一,此时亚马逊是落后的。2008年的金融危机之后,电商行业又经历了新的变化,交易额高速增长的时代告一段落,公司价值的竞争由过去的单纯交易额和用户驱动变成了价值链经营驱动,而实现了闭环经营的亚马逊的市值又实现了反超。
2015年第二季度,亚马逊服务收入已经超过60亿美元,其中三分之一来自云服务,其他的来源还包括云平台、物流、广告,这部分业务可能会成为亚马逊未来盈利能力的主要来源。4.让大数据工作落地数据最关键的一个环节是数据解读。如果并不懂数据的作用时,他们就不会参与,当他们不参与时,数据就没有价值。数据团队的工作如果不能落在实处,前面所有环节都是徒劳。Airbnb 公司的例子为数据团队如何推广工作结果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租赁公司,Aifbnd 非常有远见,在团队只有7个人的时候就有了专职大数据工程师,公司发展中每一次重大决策,数据团队都发挥了重要作用。在早期团队规模小的时候,大数据团队工作模式是集中式的,分析团队的意见可以很快传达到决策层,业务端的反馈也同样。随着公司成长,沟通链条变得越来越长,数据团队有被悬挂的感觉。其他同事不明白如何和我们互动,其他人对我们没有完全的理解。
随着时间的推移,数据团队被看成一种静态资源,被要求提供数据,而没有能够主动思考未来的机会。随后数据团队被重新组织。仍然遵循集中的管理,但是走出自己的小组,进入每个需求部门,直接同工程师、设计师、产品经理、营销人员等等沟通。这样做增加了整个公司的数据利用率,也使数据科学家成为积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市,2015年2月28日,估值将达到200亿美元。5.相信数据,不凭感觉决策以往的分析模型大多是大模型+小数据,我们对模型本身做很多的假设和约束,人为干预在抽样环节已经开始,在结果出来前就已经针对预期输出准备好可能的解释。
大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样,也不对分布做太多假设,用全样本输入;以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数据+小模型在很多领域取得了成功,特别是在决策短的情况下,只要数据量足够大,可以得到一些直接的洞见。2006年以前,赛林格受命用大数据为亚马逊增加营收,那时亚马逊作为单纯的在线零售商并不为起平台上的商家做广告,塞林格认为在广告销售有很大的利润潜力,于是将这件事汇报给了自己的老板贝索斯,后者认为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广告?”。
尽管贝索斯不喜欢也不支持这个想法,但是他允许赛林格的团队在网站上进行小规模测试,结果成为了亚马逊有史以来最盈利的项目,他们把协同过滤,结构最简单的推荐算法,做成了大数据一个经典案例。6. 大数据不是良药 大数据还在进化大数据决策的另一个极端是过分专注于大数据的技术讨论,而忽略了一个基本事实:大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来解决,但是经历十年快速发展,我们仍然处于大数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的,试图从量上突破。已经积累了大量数据的企业,可以快速兑现历史红利,当前的火爆很大程度是确实很大一部分过去二三十年甚至更久数据积累的一次集中释放.当浅层数据价值挖掘干净后,如果没有健康持久的业务模式,问题还在哪里。现在我们的大数据在五年后会变成小数据,MapReduce,Hadoop,stream computing 等概念会变成理所当然的基本操作,甚至集成在语言本身,在业务层面感知不到它们的存在。
现在或许是大数据最热闹的时代,当在大数据真正回归业务的时候,才是大数据最好的时代。能活到那一天的都是从现在开始把大数据往深处做的人。大数据不是神话,不是泡沫,它是一些实在的工具和方法的综合,是在其上构建的创意和生意。大数据已经走过十年辉煌,让我们继续期待。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14在Python网络编程、接口测试、爬虫开发等场景中,HTTP请求的发送与响应处理是核心需求。Requests库作为Python生态中最流行的HTTP ...
2026-04-14 很多新人学完Python、SQL,拿到一张Excel表还是不知从何下手。 其实,90%的商业分析问题,都藏在表格的结构里。 ” 引言:为 ...
2026-04-14在回归分析中,因子(即自变量)的筛选是构建高效、可靠回归模型的核心步骤——实际分析场景中,往往存在多个候选因子,其中部分 ...
2026-04-13在机器学习模型开发过程中,过拟合是制约模型泛化能力的核心痛点——模型过度学习训练数据中的噪声与偶然细节,导致在训练集上表 ...
2026-04-13在数据驱动商业升级的今天,商业数据分析已成为企业精细化运营、科学决策的核心手段,而一套规范、高效的商业数据分析总体流程, ...
2026-04-13主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-04-13在数据可视化与业务分析中,同比分析是衡量业务发展趋势、识别周期波动的核心手段,其核心逻辑是将当前周期数据与上年同期数据进 ...
2026-04-13在机器学习模型的落地应用中,预测精度并非衡量模型可靠性的唯一标准,不确定性分析同样不可或缺。尤其是在医疗诊断、自动驾驶、 ...
2026-04-10数据本身是沉默的,唯有通过有效的呈现方式,才能让其背后的规律、趋势与价值被看见、被理解、被运用。统计制图(数据可视化)作 ...
2026-04-10在全球化深度发展的今天,跨文化传播已成为连接不同文明、促进多元共生的核心纽带,其研究核心围绕“信息传递、文化解读、意义建 ...
2026-04-09在数据可视化领域,折线图是展示时序数据、趋势变化的核心图表类型之一,其简洁的线条的能够清晰呈现数据的起伏规律。Python ECh ...
2026-04-09在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-04-09长短期记忆网络(LSTM)作为循环神经网络(RNN)的重要改进模型,凭借其独特的门控机制(遗忘门、输入门、输出门),有效解决了 ...
2026-04-08在数据分析全流程中,数据质量是决定分析结论可靠性的核心前提,而异常值作为数据集中的“异类”,往往会干扰统计检验、模型训练 ...
2026-04-08在数字经济飞速发展的今天,数据已渗透到各行各业的核心场景,成为解读趋势、优化决策、创造价值的核心载体。而数据分析,作为挖 ...
2026-04-08在数据分析全流程中,数据处理是基础,图形可视化是核心呈现手段——前者负责将杂乱无章的原始数据转化为干净、规范、可分析的格 ...
2026-04-07