京公网安备 11010802034615号
经营许可证编号:京B2-20210330
悄悄来临的大数据时代
如今,网购已在悄悄改变着人们许多年以来形成的购物方式。对于刚刚过去的11月11日,人们仍记忆犹新,知名电商阿里巴巴通过旗下的天猫和淘宝,将“光棍节”变成“购物狂欢节”。
阿里巴巴是做什么的?很多人会说“电子商务”。但如果看电商交易的实质,实际上是“海量的信息和数据服务”——一句话,阿里巴巴的所作所为符合“大数据时代”的潮流特征。
继“物联网”、“云计算”之后,进入2012年,“大数据”一词被越来越多地提及。人们用它来描述、定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
“大数据并非突然产生的,实际上,IBM、谷歌和亚马逊等大企业早已开始利用它。这个概念之所以能够为更多行业所认知,还是因为人们越发看重它的应用。”中国工程院院士、工信部通信科技委主任邬贺铨表示。
“大数据时代”已经来临
最早提出“大数据”时代到来的是管理咨询公司麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
什么是大数据?邬贺铨引用了维基百科的定义:没有办法在允许的时间里用常规的软件工具对内容进行抓取、管理和处理的数据集合。“当然,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十个TB(万亿字节)和几个PB(千万亿字节)之间。”
大数据到底有多大?以下这组“互联网上一天”的数据告诉我们:一天之中,百度大约要处理60亿次搜索请求,达到几十PB数据;淘宝网站的交易达数千万笔,单日数据量超过20TB;联通的用户上网记录一天达到10TB……
“如果说第三次工业革命有各种各样的标记,那么信息技术发展到今天,大数据也是其中的一个标记。”邬贺铨评价道。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但各行各业的有识之士认为,它对社会经济生活产生的影响绝不仅限于技术层面。
挖掘“数据财富”
当你仍把微博等社交平台当作抒情或者大发议论的工具时,一些商界精英却正在挖掘“数据财富”,先人一步用其判断市场走势,从中获得了不菲的收益。
通过分析网民的情感数据,社交媒体监测平台DataSift发现,社交网站脸谱(Facebook)申请上市发行股票的当天,微博推特(Twitter)上的情感倾向与Facebook股价波动基本上呈正相关:在Facebook开盘前,如果Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌;而当Twitter上的情感转向正面时,Facebook股价在8分钟后也随之回弹……当然,仅凭这些并不能证明Twitter的情感倾向会对股价产生影响,不过确实已经有人试图据此发现预测股价走势的方法。
大数据的影响并不仅限于信息通信产业,它还在“吞噬”、重构一些传统行业——从这个意义上讲,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
邬贺铨举了个有趣的例子。美国target超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来,该超市通过调查罗列出几十种购物偏好,当某位顾客的收银条上集中呈现这类商品时,就会被认定为可能是孕妇或家中有孕妇,并随后向其发送孕妇产品广告。一次,当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后,却发现原来是自己还在上高中的女儿怀孕了。“这个例子告诉我们,利用购物信息这个大数据,商家可以进一步分析、细分购物群体,从而提升销售额。”
此外,利用搜索关键词,疾控部门可以预测、判断某地流感暴发情况;通过关注社交网络上“糖友”的交流与感悟,医院和医生可以获得更好的糖尿病诊疗和康复经验……据邬贺铨介绍,不仅在商业方面,大数据在电网运营、交通管控、医疗服务等社会领域同样存在着巨大的利用空间。
拿什么迎接“大数据时代”
如何利用这些大数据,从而开发出其中的商业价值,已经成为投资者、IT界人士以及政府公共管理部门普遍关心的问题。
2012年3月29日,美国政府宣布投资两亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。
最积极的当属众多IT企业。IBM提出,继上一个十年抛弃私人电脑业务成功转向软件和服务后,这次将更多地专注于大数据分析软件带来的全新业务增长点。此外,有关“大数据”主题的并购案层出不穷,并购数量和规模都呈逐步上升态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元。
当众多国外企业竞相追逐大数据带来的产业价值时,还鲜有一家中国公司能够跻身大数据开发的领先行列。
邬贺铨表示,虽然现在国家从科技项目上开始重视大数据,安排了一些研究,但感觉整体差距还很大。“这并非一些简单的科技项目就能解决的,应该鼓励拥有资源和能力的企业、部门去开发大数据,因为他们才是真正的应用需求者,才是牵引技术的最重要力量。”
为了缩小在这场时代竞争中的“起跑”差距,政府的主导作用显得尤为重要。
“除特殊情况外(例如涉及国家机密和安全),政府部门应该尽可能及时地发布、公开信息,鼓励数据共享,帮助需求主体了解各行各业的整体情况。”邬贺铨认为,我国目前的状况不是数据收集太少,而是共享太少。“拥有数据的部门没有能力去分析,有分析能力的部门没有数据,各部门之间缺少协调合作,这实际上涉及一个体制问题。”
此外,拥有数据的企业或部门不知如何在保护好用户隐私与安全的情况下使用大数据,也是妨碍我国紧跟“大数据时代”的一大羁绊。
既然收集、整理、存储大数据的门槛这么高,为什么不利用国外的平台去做点什么?对此,邬贺铨特别提示,国内企业和相关部门要避免将自己的重要数据放到国外的分析应用平台。“这些看似无关的数据,其实都跟企业发展策略、国家经济运行状况相关,我们不能因为国外的东西免费好用而失去了对信息安全的警觉。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、业务监控、运营复盘等场景中,列值趋势计算是核心需求之一。无论是分析销售额的月度增长、用户活跃的变化趋势、库存 ...
2026-06-12在数字经济深度渗透的当下,消费者的购买行为已从过去的 “被动接受” 转变为 “主动决策”。流量红利消退、获客成本攀升、用户 ...
2026-06-12CDA三级认证是三个级别中的塔尖,全面考察数据战略、团队领导和复杂项目的综合能力。它所对应的《敏捷数据挖掘》教材,不再局限 ...
2026-06-12在游戏产业的商业逻辑中,付费玩家是支撑游戏生存与发展的核心支柱。行业普遍遵循 “二八定律”:20% 的付费玩家贡献了游戏 80% ...
2026-06-11【核心关键词】企业、定位、传统、产品、互联网、可视化、业务侧、数字化、结构化、数据分析、传统制造业、市场状态、发展空间 ...
2026-06-11 解读《CDA二级教材:量化策略分析(2025)》的全景结构与学习逻辑 ” CDA二级认证是企业招聘数据分析师时最常提及的证书门槛 ...
2026-06-11【核心关键词】药企、可视化、营销、分类、数据分析师、销售数据、业务人员、指导方向、分析报告、营销数据、营销医生 【专访摘 ...
2026-06-10在统计学分析、问卷调研、实验验证、业务复盘等场景中,卡方检验与 T 检验是应用最广泛的两类基础假设检验方法。前者专门处理分 ...
2026-06-10 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-06-10在MySQL数据库日常查询、数据统计、后台接口开发、数据导出等场景中,开发者经常需要查询数据表除某几列之外的所有字段。例如查 ...
2026-06-09在Python网络请求、爬虫开发、接口测试、数据抓取等实操场景中,requests库是最常用的第三方请求工具,而content属性是requests ...
2026-06-09 数据分析正在重塑每一个行业。CDA认证的三本官方教材,分别对应Level I、Level II、Level III,为你铺就从业务数据分析到数 ...
2026-06-09在数字财务、智慧财税、业财融合深度推进的当下,传统财务模式下数据标准混乱、业务流程碎片化、知识无法沉淀、系统互通性差等问 ...
2026-06-08随着数字经济深度渗透各行各业,数据正式成为继土地、劳动力、资本、技术之后的第五大生产要素,是企业数字化转型、精细化运营、 ...
2026-06-08 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-06-08【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04