
大数据正在改变你我_数据分析师
大数据、人工智能、云计算,这些原本听起来离大众生活非常遥远的IT专业术语,如今正实实在在地改变着人们的生活。到底什么是大数据?它以何种方式影响我们的生活?
大数据正在做什么
以开放、平等、参与的方式重构商业模式和人的行为方式
如今,喜欢在互联网上购买书籍的人会发现,当你搜索某一本书时,常常会同时在页面上看到一个推荐书单,而你会惊奇地发现,书单里罗列的,正是你感兴趣的书籍。这并非书商的神机妙算,也并不借助于专家学者的推荐,隐藏在它背后的,只是一串串数据——海量的巨细无遗的大数据。这些数据记录了过去若干年来,数以千万计的人每一天的买书行为,以致它清楚地知道买这本书的人通常还会买哪些书。
通过这种大数据的洞察力建立的新的价值点,亚马逊在美国轻而易举地击退了他们的传统竞争对手。在互联网时代,像这样以大数据驱动的行业变革非常之多,并正在悄然改变着我们的生活。
在教育领域,面对面的传统授课方法正面临着在线教育的冲击,慕客课堂也正在构建新的教育模式;在服务业领域,传统的营销方式正在被基于大数据的精准、个性化的服务所取代。
大数据所做的,就是将其背后的人与人、信息与信息,信息与商品、人与商品连接起来,将人的需求同各种各样的以信息为基础的东西连接起来,以开放、平等、参与的方式在重构商业模式和人的行为方式。
在这种新技术构建的地基上,人们未来将可能借此探讨一些惊人的课题,比如人的“意识数据化”——把人的意识放到网上,让它在数据云里阅读、学习;再比如“人体工程”——借助当下生物技术和信息科技,可以让人的长相、智力、情感都顺从自己的心意。
如果将传统的生产工具比作小米加步枪的话,未来基于大数据的新生产工具无异于加农炮。信息在未来将扮演极其重要的角色,这意味着人们需要调整视角,把数据这个最重要的资源,很好地用起来。当一个市长以大数据的眼光看待一个城市,他可能让城市从民生角度、经济角度、社会管理角度收集各种数据,在此基础上去了解城市的交通、医疗卫生等各种相关事项,发现哪里有问题,哪里可改善,应该如何调整。
如何分析大数据
靠无数台计算机,通过数学模式将数据分解、合并直至得到结果
所谓大数据,就是以前所未有的方式,在海量规模数据中寻找到新看法、新趋势,然后构建崭新的价值。
过去,人们不曾获得如此大规模的数据,所以根本无法获得如今大数据所能得出的结论和价值。如何分析海量数据呢?其实,方法跟曹冲称象差不多,一头大象,一杆秤称不了,同样,一台机器也无法处理海量的数据。
大数据处理不是靠一台超级计算机,而是靠无数台计算机,用函数式编程这样的数据工具将其分解,再慢慢合并最后拿出结果。以搜索引擎为例,他们在做三件事——搜集数据、深度加工数据、将结果提供给用户。每天,超过100万台计算机在运行,处理的数据规模在P级别(千万亿字节),相当于一份报纸60年所有文字图片数据总和的1000倍以上。当人们用关键词搜索的时候,它消耗掉的电能,能帮你煮热一杯咖啡。
大数据最厉害的地方,是开辟了崭新的业务模式,就是数据化、智能化、互联网化。要掌握这样一种新的工具,就要以大数据为基础看待处理和运用数据的方式,这跟过去小数据的集合迥然不同——
第一,大数据强调全数据的观念,而非小数据的随机抽样。小数据,只要记住关键信息就行,大数据需要采集全部信息。第二,小数据强调精准,大数据强调大势的把握和概率;第三,小数据关注因和果,大数据则关注关联。比如一家网站向读者推荐图书时,不需要操心人们为何买这本书,它所做的是采集所有买书人的数据,然后用数学模型分析出买这本书的人购买其他书籍的概率。
物联网、传感器、机器人、三维打印、可穿戴设备,所有这些新兴热门技术的背后,都有大数据的支撑。大数据时代对生产关系的构建,不亚于人们从农业时代向工业时代的迁徙。
大数据的未来
人的情绪和想象力能否靠大数据模拟,依然未知
如果说大数据是一顶皇冠,皇冠上的明珠就是人工智能。
什么叫人工智能?怎么定义、衡量人工智能?以著名的图灵测试为例——在墙后面,有一个人和一台计算机,如果人与之交流后,无法分辨出,哪个是人,哪个是计算机,则可以认为这台计算机达到了人工智能的程度。可见,人工智能所关联的,不仅是知识储备,也涉及到模拟人类的情感、想象力和创造性。
人们不禁要问,如果有一天,大数据技术拥有了更高级的信息收集、分析、判断能力,也掌握了人类的创造力、想象力和个人情感,那么作为万物之灵的人类与人工智能机器的区别将如何体现?人类的特性会消失吗?
事实上,这一天目前来看还太遥远,即使是大数据也并不可能预测太久以后的未来。大脑作为人类各种思维的物质基础,大脑皮质更多负责理性思考,小脑则负责较原始的欲望和情绪。当前,科学家对大脑皮质的工作原理已经研究得相当深入,通过计算机系统的模拟,已经初见成效。比如,计算机对视觉系统、声音系统、文字符号为中心的语言系统的理解,已经达到一定的高度。但截至目前,对负责个人情感等活动的小脑,大数据技术还没有深入探索。
更何况,世界上本来就有相当一部分问题无法用数学求解。如果无法用已掌握的数学工具分析、解释,那么人们就无法用大数据去做这部分工作。所以,人的情绪、创造力、想象力在一定程度上也许会被解码,但完全解码的可能性现在看来依旧是个未知数。
在很多科幻作品里我们看到,具有人工智能的机器将来会统治人类。但我们其实不必太担心,因为正是人类的创造力,在推动科技一步步向前走。我们也许应当以双赢的观念,来看待人类与智能机器的关系——互补、融合。到那时候,人工智能机器将帮助人类超越自身局限,使人们的力量更强大,成为我们无处不在的助理。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
2025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-06-052025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27