京公网安备 11010802034615号
经营许可证编号:京B2-20210330
得大数据者得新工业革命先机
数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
世界经济论坛第十届新领军者年会即夏季达沃斯论坛即将在天津举行,主题为“第四次工业革命——转型的力量”。届时,全球90多个国家和地区的超过1500位各界领军人物将集中探讨第四次工业革命对未来经济、社会、生态和文化的重要影响。今年1月下旬在瑞士小镇举行的达沃斯年会,主题也是“掌控第四次工业革命”,主要讨论第四次工业革命将如何改变人类生产、分配和消费模式,如何应对由此带来的挑战。世界顶级企业家与智库一年内两度探讨同一主题,在达沃斯论坛历史上还是首次。世界精英如此心仪新工业革命,盖因世界经济遇到了瓶颈,人们急切期望从新工业革命中找到突破口,找到人类可持续发展的钥匙。而要理解新工业革命,先得弄清大数据革命。
一般认为,大数据的数量级是在“太字节”即2的40次方以上,一般软件人员难以收集、存储、管理和分析的数据,而且这种认定还是相对的,随着科技进步,“大”的认定还会不断变化。但仅仅因为“大”而称之为大数据,风靡全球的大数据革命就没有太大意义了。在小数据时代,我们只能有选择性采集抽样数据、局部数据和片面数据,有时甚至在无法获得实证时纯粹靠经验、理论、假设和价值观去发现未知领域的规律。结果只能是对真实世界的抽象归纳与推理,这就不可避免包含了人的心理和主观因素。同时,由于样本的局部性,时间非全天候性,归纳推理中的主客观偏差,有时可能出现“蝴蝶效应”,差之毫厘,谬以千里。
大数据的真正意义在于:通过传感器,实现真实世界的全方位连接,得到全方位实时数据,交换、整合和云计算,逼近真实世界。
小数据追求“小”、“精”、“优”;大数据追求的是“多”、“杂”、“更优”。小数据时代,受科技水平的限制,只能依据随机样本,大数据则要求所有数据,在小数据时代只有5%的数据符合样本结构化要求,剩下的95%数据都被排斥在外了。大数据则良莠不拒,不求随机样本,而是全体数据;不求精确性,而是混杂性。小数据探求因果关系,即知道“为什么”,以便归纳推理和预测;而大数据只知道相关关系,不必知道因果关系,只要知道“是什么”不必知道“为什么”。小数据追求精确、完美,往往导致不精确、不完美;大数据不求精确、不求完美,反而导致了观测客观世界的更精确、更完美。如2009年谷歌通过大数据分析准确地得出什么地方发现了H1N1禽流感,而且判断非常及时,比美国疾控中心的判断结论要早一两周。美国安大略理工学院卡罗琳·麦格雷戈博士利用软件预测早产儿的病情,不仅比专业医生及时,而且一些病状,医生不能发现,而计算机能发现。这些人都没有医疗方面的专业背景。这样的例子在大数据时代还有很多。正如“大数据时代的预言家”,牛津大学教授维多克·迈尔-舍恩伯格所言:“在不久的将来,世界许多依靠人类判断力的领域都会被计算机系统所改变甚至取代。”这看似是一个矛盾的命题,其实是一个方法论上的革命,即“大数据革命”。
明代著名思想家洪应明说过:“文章极处无奇巧,人品极处只本然。”一个人写文章写到登峰造极的境界时,其实并没有什么写作艺术可言,只是把内心的真实感受真实地表现出来,让读者从内心产生共鸣。一个人的品德修养达到炉火纯青的境界时,就能“随心所欲不逾矩”,让人回归到纯真朴实的本然之性而已。大数据革命与此异曲同工:“工业革命无奇巧,数据大时只本然”。数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
大数据“多”、“快”“好”“省”的优点奠定了新工业革命的基石。“数据多”,随着科技水平的进一步发展,大数据将无限逼近真实世界。“速度快”,全天候随时实现信息交换,没有时滞。“效果好”,大数据增加了人类的“观测”能力。美国麻省理工学院布伦乔尔森将大数据称之为人类社会行为观测的“显微镜”,就像望远镜让我们能洞察遥远的星河,显微镜让我们观察微小的细胞一样,大数据将帮助我们完成在通常的眼光下无法完成的工作。
新工业革命,本质上是智能革命,而智能革命的基础是信息化,大数据是根本。没有大数据对客观事物全面、快速、真实、准确的信息反馈,任何智能设备都不可能实现真正的智能。因此,西方学者将即将来临的新工业革命也称之“后信息时代的革命”,归根到底,这是“大数据的革命”。以至于知名信息专家涂子沛说:“数据可以治国,也可以强国”,“得数据者得天下”。借用涂子沛的这句话,我们还可以说:“数据可以治业,数据可以兴业,得大数据者将占据新工业革命之先机!”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当下数据驱动决策的职场环境中,A/B测试早已成为互联网产品、运营、营销乃至产品迭代优化的核心手段,小到一个按钮的颜色、文 ...
2026-03-24在统计学数据分析中,尤其是分类数据的分析场景里,卡方检验和显著性检验是两个高频出现的概念,很多初学者甚至有一定统计基础的 ...
2026-03-24在CDA(Certified Data Analyst)数据分析师的日常业务分析与统计建模工作中,多组数据差异对比是高频且核心的分析场景。比如验 ...
2026-03-24日常用Excel做数据管理、台账维护、报表整理时,添加备注列是高频操作——用来标注异常、说明业务背景、记录处理进度、补充关键 ...
2026-03-23作为业内主流的自助式数据可视化工具,Tableau凭借拖拽式操作、强大的数据联动能力、灵活的仪表板搭建,成为数据分析师、业务人 ...
2026-03-23在CDA(Certified Data Analyst)数据分析师的日常工作与认证考核中,分类变量的关联分析是高频核心场景。用户性别是否影响商品 ...
2026-03-23在数据工作的全流程中,数据清洗是最基础、最耗时,同时也是最关键的核心环节,无论后续是做常规数据分析、可视化报表,还是开展 ...
2026-03-20在大数据与数据驱动决策的当下,“数据分析”与“数据挖掘”是高频出现的两个核心概念,也是很多职场人、入门学习者容易混淆的术 ...
2026-03-20在CDA(Certified Data Analyst)数据分析师的全流程工作闭环中,统计制图是连接严谨统计分析与高效业务沟通的关键纽带,更是CDA ...
2026-03-20在MySQL数据库优化中,分区表是处理海量数据的核心手段——通过将大表按分区键(如时间、地域、ID范围)分割为多个独立的小分区 ...
2026-03-19在商业智能与数据可视化领域,同比、环比增长率是分析数据变化趋势的核心指标——同比(YoY)聚焦“长期趋势”,通过当前周期与 ...
2026-03-19在数据分析与建模领域,流传着一句行业共识:“数据决定上限,特征决定下限”。对CDA(Certified Data Analyst)数据分析师而言 ...
2026-03-19机器学习算法工程的核心价值,在于将理论算法转化为可落地、可复用、高可靠的工程化解决方案,解决实际业务中的痛点问题。不同于 ...
2026-03-18在动态系统状态估计与目标跟踪领域,高精度、高鲁棒性的状态感知是机器人导航、自动驾驶、工业控制、目标检测等场景的核心需求。 ...
2026-03-18“垃圾数据进,垃圾结果出”,这是数据分析领域的黄金法则,更是CDA(Certified Data Analyst)数据分析师日常工作中时刻恪守的 ...
2026-03-18在机器学习建模中,决策树模型因其结构直观、易于理解、无需复杂数据预处理等优势,成为分类与回归任务的首选工具之一。而变量重 ...
2026-03-17在数据分析中,卡方检验是一类基于卡方分布的假设检验方法,核心用于分析分类变量之间的关联关系或实际观测分布与理论期望分布的 ...
2026-03-17在数字化转型的浪潮中,企业积累的数据日益庞大且分散——用户数据散落在注册系统、APP日志、客服记录中,订单数据分散在交易平 ...
2026-03-17在数字化时代,数据分析已成为企业决策、业务优化、增长突破的核心支撑,从数据仓库搭建(如维度表与事实表的设计)、数据采集清 ...
2026-03-16在数据仓库建设、数据分析(尤其是用户行为分析、业务指标分析)的实践中,维度表与事实表是两大核心组件,二者相互依存、缺一不 ...
2026-03-16