大数据如何改变世界?不尽数据滚滚来
世纪之初,全球化概念大热,弗里德曼告诉人们,世界是平的。大数据来袭的今天,人们越来越感觉,世界是透明的。大数据让社会生活更便捷的同时,也把人们的生活痕迹印刻在互联网上。挑战与机遇并存,价值与风险同在,如何趋利避害用好这把双刃剑,将考验人类智慧。
凡有井水处,皆谈大数据。关于大数据,先说个段子。
必胜客店的电话铃响了,客服人员拿起电话,通过会员卡号,顾客的住址电话一目了然。客服婉拒了海鲜披萨的点餐要求,因为顾客的胆固醇偏高。客服接着又推荐了低脂健康食谱,因为顾客上周刚从图书馆借走一本书《低脂健康食谱》。
接下来的对话更有精彩,容我录下来——
顾客:可以刷卡吗?
客服:对不起,您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括房贷利息。
顾客:那我先去附近的提款机提款。
客服:根据记录,您已经超过今日提款限额。
顾客:算了,你们直接把披萨送到我家吧,家里有现金。你们多久送到?
客服:大约30分钟。如果您不想等,可以自己骑车来。
顾客:为什么?
客服:根据全球定位系统的车辆行驶自动跟踪系统记录,您有一辆摩托车正行驶在我们店附近。
顾客当即晕倒。
希望读者不要晕倒。没错,这就是街谈巷议的大数据。在这个愈来愈讲究用数字说话的时代,大数据的概念始终如盛夏般火热。即使在冬季,仍会有“春运大数据”、“双12消费大数据”这样吸引眼睛的消息跳跃在媒体头条。
什么是大数据
大数据这个IT行业术语,通俗点来说,就是巨量数据集合。
再具体一点?那就是麦肯锡全球研究所给出的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据之前,人们喜欢抽样调查,随机抽取的捷径。有了大数据,就可以采用所有数据进行分析处理。
比如说,一张小小公交卡。北京公交一卡通每天产生4千万条刷卡记录,分析这些刷卡记录,可以清晰了解北京市民的出行规律,以有效改善城市交通。
再举个商铺选址的例子,对大数据概念的理解会更加一目了然。
南京路上的先施公司,是老上海永远无法抹去的风景。1914年,侨商黄焕南去上海选址时,南京路还比较冷清,他派人到各路口,用数豆子的办法测定人流量,最后决定在南京路北兴建先施公司。
黄焕南为新店选址的办法,当时堪称机智。后来,人们通过统计网站拉数据的方法,费时费力费钱,还未必十分精准。而且,如果选址的范围扩展到全国城市,个人和小团队仅凭商业直觉和有限的知识是远远不够的,这时候,就需要大数据登场了,利用商业地理数据进行商业选址及消费者地理细分让难题迎刃而解。
打开手机地图,我们在手机APP上的位置信息最后都进入了各大公司的后台,人流量、人流方向、人流随时间变化,通过实时路况或热力图,一目了然,这些数据,正好可以用来做新店选址。
除了地图,还有强大的搜索引擎。当将搜索+LBS技术打通后,倘若地处城乡结合部的上海闵行区频繁出现“火锅”关键词搜索后,海底捞、小天鹅们可以适时考虑开家分店了。
透过选址一件事,可以看出,大数据技术的战略意义不仅在于掌握庞大的数据信息,还在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
大数据的应用
“广西的人最爱点赞,河北人最爱看段子,最关心时政的是山西人,最关注八卦的是天津。”
这组有趣的数据,是今日头条根据用户习惯得出的。上线刚4年的今日头条,恰是一款基于数据化挖掘的个性化信息推荐引擎,目前已经累计用户5.5亿,日活跃用户超过了6000万,成为增长最快的资讯类客户端。
过去是依靠人总结知识,现在可以通过系统、学习用户的行为特征来储存智慧。当你拿着手机每看一篇文章,你的每一次点击和搜索,各种行为,都会被记录下来产生数据,形成推送——这是今日头条带来的启示。
还有比今日头条更精准的算法,发生在美国明尼苏达州。
在明州,一家塔吉特门店被客户投诉,原因是一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿,一个高中生。但没多久男子来电道歉,因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货靠着分析用户所有的购物数据,然后通过相关关系分析得出事情的真实状况。
说到购物数据分析,太平洋西岸的义乌商人也毫不逊色。11月9日,美国总统选举结果揭晓,共和党总统候选人唐纳德·特朗普赢得总统选举,将成为美国第四十五任总统。这个多少有些出人意料的结果,其实精明的义乌人早就预测到了。
原来,美国大选大量竞选的旗帜都是浙江义乌制造的。川普和希拉里两种旗帜,谁的订单量大,说明谁的支持度高。旗帜工厂的小老板,根据双方竞选旗订单的大数据预测特朗普必胜,惊呆了一帮吃瓜群众。
上述三则案例,是再真实不过的大数据运用。大数据究竟给我们带来什么,答案不言自明。
我们就是生活在这样一个数据时代,阅读、购物、看病、旅游,打电话、刷微博、聊QQ、用微信,都在不断产生新数据。大数据已经与我们的工作生活息息相关、须臾难离。
没有人会否认,大数据时代已经来临,并将深刻地改变着人们的工作和生活。走进KTV,点歌机推荐的歌曲都是你的“拿手菜”;开车上路,可以避开“红蚯蚓”选择畅通路;网上购物,电商会预判用户的消费需求,提前在离用户最近的社区储备商品,大大缩短送货时间……细细一想,都是大数据在背后帮你。
放眼世界,洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生;google流感趋势利用搜索关键词预测禽流感的散布;麻省理工学院利用手机定位数据和交通数据建立城市规划。
有没有小小数据在手,世界尽在掌握的感觉?
大数据技术已在交通、医疗、金融、制造、通讯、推荐系统等行业中得到了广泛深度应用,大数据加速制造业转型,大数据助力交通更加便捷高效,大数据驱动金融精细化运营,大数据助推精准医疗快速发展……通过运用数据来催生新的服务,这是正在实现的改变,而不再是一张画饼。
大数据的发展趋势
种种迹象显示,从最初的大数据定义之争,到挖掘大数据应用价值、协商合作方向,大数据产业已经进入务实发展阶段。
务实发展也让人们对大数据的思考渐趋冷静:大数据尽管运用领域广阔,也没必要神话,它就是互联网发展到现今阶段的一种特征而已。在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,为人类创造更多的价值。
简单来说一下云计算,这是个和大数据形影不离的“小伙伴”。
技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理,必须采用
分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。可以说,大数据相当于海量数据的“数据库”,云计算相当于计算机和操作系统,将大量的硬件资源虚拟化后在进行分配使用。
整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,“动一下鼠标就可以在秒级操作PB级别的数据”。
科普一下,PB是较高级的存储单位。1PB=1024TB。1TB=1024G。
之所以提到云计算,是因为,大数据与云计算的深度结合在将来会更加紧密。
自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
大河奔涌,泥沙俱下,大数据的丰富,势必会带来大量低质量数据。想要成功,数据用户需要理解原始数据与数据分析之间的差距,从而消除低质量数据并通过商业智能获得更佳决策。所以,采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。
大数据的野蛮成长,还会带来不少负面影响:未来几年数据泄露事件会接二连三,除非数据在源头就能够得到安全保障,企业需要从新的角度来确保自身以及客户数据的安全。
当然,数据泄露并不能阻拦数据科学成为一门专门学科的步伐。未来,各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。
大数据让社会生活更智慧的同时,也把人们的生活痕迹印刻在互联网上。人们会担心,自己生活在四面透明的鱼缸里,难有秘密。网络安全,挑战与机遇并存,价值与风险同在,如何趋利避害用好这把双刃剑,将考验人类智慧。
大数据让世界更美好,这个时代愿景,随着防护手段的升级,会逐渐实现。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26