京公网安备 11010802034615号
经营许可证编号:京B2-20210330
得大数据者得新工业革命先机
数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
世界经济论坛第十届新领军者年会即夏季达沃斯论坛即将在天津举行,主题为“第四次工业革命——转型的力量”。届时,全球90多个国家和地区的超过1500位各界领军人物将集中探讨第四次工业革命对未来经济、社会、生态和文化的重要影响。今年1月下旬在瑞士小镇举行的达沃斯年会,主题也是“掌控第四次工业革命”,主要讨论第四次工业革命将如何改变人类生产、分配和消费模式,如何应对由此带来的挑战。世界顶级企业家与智库一年内两度探讨同一主题,在达沃斯论坛历史上还是首次。世界精英如此心仪新工业革命,盖因世界经济遇到了瓶颈,人们急切期望从新工业革命中找到突破口,找到人类可持续发展的钥匙。而要理解新工业革命,先得弄清大数据革命。
一般认为,大数据的数量级是在“太字节”即2的40次方以上,一般软件人员难以收集、存储、管理和分析的数据,而且这种认定还是相对的,随着科技进步,“大”的认定还会不断变化。但仅仅因为“大”而称之为大数据,风靡全球的大数据革命就没有太大意义了。在小数据时代,我们只能有选择性采集抽样数据、局部数据和片面数据,有时甚至在无法获得实证时纯粹靠经验、理论、假设和价值观去发现未知领域的规律。结果只能是对真实世界的抽象归纳与推理,这就不可避免包含了人的心理和主观因素。同时,由于样本的局部性,时间非全天候性,归纳推理中的主客观偏差,有时可能出现“蝴蝶效应”,差之毫厘,谬以千里。
大数据的真正意义在于:通过传感器,实现真实世界的全方位连接,得到全方位实时数据,交换、整合和云计算,逼近真实世界。
小数据追求“小”、“精”、“优”;大数据追求的是“多”、“杂”、“更优”。小数据时代,受科技水平的限制,只能依据随机样本,大数据则要求所有数据,在小数据时代只有5%的数据符合样本结构化要求,剩下的95%数据都被排斥在外了。大数据则良莠不拒,不求随机样本,而是全体数据;不求精确性,而是混杂性。小数据探求因果关系,即知道“为什么”,以便归纳推理和预测;而大数据只知道相关关系,不必知道因果关系,只要知道“是什么”不必知道“为什么”。小数据追求精确、完美,往往导致不精确、不完美;大数据不求精确、不求完美,反而导致了观测客观世界的更精确、更完美。如2009年谷歌通过大数据分析准确地得出什么地方发现了H1N1禽流感,而且判断非常及时,比美国疾控中心的判断结论要早一两周。美国安大略理工学院卡罗琳·麦格雷戈博士利用软件预测早产儿的病情,不仅比专业医生及时,而且一些病状,医生不能发现,而计算机能发现。这些人都没有医疗方面的专业背景。这样的例子在大数据时代还有很多。正如“大数据时代的预言家”,牛津大学教授维多克·迈尔-舍恩伯格所言:“在不久的将来,世界许多依靠人类判断力的领域都会被计算机系统所改变甚至取代。”这看似是一个矛盾的命题,其实是一个方法论上的革命,即“大数据革命”。
明代著名思想家洪应明说过:“文章极处无奇巧,人品极处只本然。”一个人写文章写到登峰造极的境界时,其实并没有什么写作艺术可言,只是把内心的真实感受真实地表现出来,让读者从内心产生共鸣。一个人的品德修养达到炉火纯青的境界时,就能“随心所欲不逾矩”,让人回归到纯真朴实的本然之性而已。大数据革命与此异曲同工:“工业革命无奇巧,数据大时只本然”。数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
大数据“多”、“快”“好”“省”的优点奠定了新工业革命的基石。“数据多”,随着科技水平的进一步发展,大数据将无限逼近真实世界。“速度快”,全天候随时实现信息交换,没有时滞。“效果好”,大数据增加了人类的“观测”能力。美国麻省理工学院布伦乔尔森将大数据称之为人类社会行为观测的“显微镜”,就像望远镜让我们能洞察遥远的星河,显微镜让我们观察微小的细胞一样,大数据将帮助我们完成在通常的眼光下无法完成的工作。
新工业革命,本质上是智能革命,而智能革命的基础是信息化,大数据是根本。没有大数据对客观事物全面、快速、真实、准确的信息反馈,任何智能设备都不可能实现真正的智能。因此,西方学者将即将来临的新工业革命也称之“后信息时代的革命”,归根到底,这是“大数据的革命”。以至于知名信息专家涂子沛说:“数据可以治国,也可以强国”,“得数据者得天下”。借用涂子沛的这句话,我们还可以说:“数据可以治业,数据可以兴业,得大数据者将占据新工业革命之先机!”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、为什么要区分这两种分布 在数据分析和统计学中,拿到一组数据后第一件事通常就是看它的分布形态。分布形态决定了你能用什么 ...
2026-10-15一、问题现象 在实际使用 Excel 透视表做数据分析时,经常会遇到这样的情况:数据源表格里明明新增了一行或一列金额数据,数据源 ...
2026-10-15核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-10-15一、什么是预测式发货 预测式发货(Anticipatory Shipping)是亚马逊于2013年12月获得授权的一项美国专利(专利号 US 8,615,473 ...
2026-10-14一、SQL在金融量化体系中的定位 量化投资的本质是用数据驱动决策,而数据处理贯穿量化研究的全生命周期。从原始行情数据清洗、因 ...
2026-10-14核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-10-14CDA数据分析师 出品 作者:李诗怡 四层结构 · 零件与房子 · 六大易错点 一、什么是指标体系 定义:指标体系是整套完整框架 ...
2026-10-13写在开头 先还原一个你大概率见过的场面。 立项会上有人说:我们得做用户画像。 于是团队关进会议室,白板写满便利贴,两小时后 ...
2026-10-13 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-10-13在统计学与数据分析研究中,相关性分析分为数值变量分析与分类变量分析两大类。针对身高、销量、分数等连续数值变量,通常采用皮 ...
2026-10-12在Power BI可视化分析体系中,常规表格仅能展示枯燥的数值数据,存在数据对比不直观、强弱规律不突出、维度交叉分析低效等问题。 ...
2026-10-12 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-10-12在传统零售行业同质化竞争激烈、大众营销转化率持续走低的背景下,依托经验与直觉的粗放式营销逐渐失效。美国塔吉特百货(Target ...
2026-10-10随着智能客服、数字化服务、用户精细化运营的快速普及,传统零散、非标准化的客户服务数据与业务体系逐渐难以支撑高效服务治理。 ...
2026-10-10 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-10-10CDA数据分析师 出品 作者:李诗怡 定义区别 · 场景举例 · 指标分类 · 计算方法 知识体系总览 模块 包含内容 一、核 ...
2026-10-09在数据分析工作流中,业务数据大多存储在各类关系型数据库内,例如MySQL、PostgreSQL、SQLite等。Pandas是Python生态中主流的数 ...
2026-10-09在数字化精细化运营时代,海量用户存在需求差异、行为差异、价值差异与偏好差异。如果企业采用“一刀切”的统一营销、统一服务、 ...
2026-10-09 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-10-09指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08