京公网安备 11010802034615号
经营许可证编号:京B2-20210330
得大数据者得新工业革命先机
数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
世界经济论坛第十届新领军者年会即夏季达沃斯论坛即将在天津举行,主题为“第四次工业革命——转型的力量”。届时,全球90多个国家和地区的超过1500位各界领军人物将集中探讨第四次工业革命对未来经济、社会、生态和文化的重要影响。今年1月下旬在瑞士小镇举行的达沃斯年会,主题也是“掌控第四次工业革命”,主要讨论第四次工业革命将如何改变人类生产、分配和消费模式,如何应对由此带来的挑战。世界顶级企业家与智库一年内两度探讨同一主题,在达沃斯论坛历史上还是首次。世界精英如此心仪新工业革命,盖因世界经济遇到了瓶颈,人们急切期望从新工业革命中找到突破口,找到人类可持续发展的钥匙。而要理解新工业革命,先得弄清大数据革命。
一般认为,大数据的数量级是在“太字节”即2的40次方以上,一般软件人员难以收集、存储、管理和分析的数据,而且这种认定还是相对的,随着科技进步,“大”的认定还会不断变化。但仅仅因为“大”而称之为大数据,风靡全球的大数据革命就没有太大意义了。在小数据时代,我们只能有选择性采集抽样数据、局部数据和片面数据,有时甚至在无法获得实证时纯粹靠经验、理论、假设和价值观去发现未知领域的规律。结果只能是对真实世界的抽象归纳与推理,这就不可避免包含了人的心理和主观因素。同时,由于样本的局部性,时间非全天候性,归纳推理中的主客观偏差,有时可能出现“蝴蝶效应”,差之毫厘,谬以千里。
大数据的真正意义在于:通过传感器,实现真实世界的全方位连接,得到全方位实时数据,交换、整合和云计算,逼近真实世界。
小数据追求“小”、“精”、“优”;大数据追求的是“多”、“杂”、“更优”。小数据时代,受科技水平的限制,只能依据随机样本,大数据则要求所有数据,在小数据时代只有5%的数据符合样本结构化要求,剩下的95%数据都被排斥在外了。大数据则良莠不拒,不求随机样本,而是全体数据;不求精确性,而是混杂性。小数据探求因果关系,即知道“为什么”,以便归纳推理和预测;而大数据只知道相关关系,不必知道因果关系,只要知道“是什么”不必知道“为什么”。小数据追求精确、完美,往往导致不精确、不完美;大数据不求精确、不求完美,反而导致了观测客观世界的更精确、更完美。如2009年谷歌通过大数据分析准确地得出什么地方发现了H1N1禽流感,而且判断非常及时,比美国疾控中心的判断结论要早一两周。美国安大略理工学院卡罗琳·麦格雷戈博士利用软件预测早产儿的病情,不仅比专业医生及时,而且一些病状,医生不能发现,而计算机能发现。这些人都没有医疗方面的专业背景。这样的例子在大数据时代还有很多。正如“大数据时代的预言家”,牛津大学教授维多克·迈尔-舍恩伯格所言:“在不久的将来,世界许多依靠人类判断力的领域都会被计算机系统所改变甚至取代。”这看似是一个矛盾的命题,其实是一个方法论上的革命,即“大数据革命”。
明代著名思想家洪应明说过:“文章极处无奇巧,人品极处只本然。”一个人写文章写到登峰造极的境界时,其实并没有什么写作艺术可言,只是把内心的真实感受真实地表现出来,让读者从内心产生共鸣。一个人的品德修养达到炉火纯青的境界时,就能“随心所欲不逾矩”,让人回归到纯真朴实的本然之性而已。大数据革命与此异曲同工:“工业革命无奇巧,数据大时只本然”。数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
大数据“多”、“快”“好”“省”的优点奠定了新工业革命的基石。“数据多”,随着科技水平的进一步发展,大数据将无限逼近真实世界。“速度快”,全天候随时实现信息交换,没有时滞。“效果好”,大数据增加了人类的“观测”能力。美国麻省理工学院布伦乔尔森将大数据称之为人类社会行为观测的“显微镜”,就像望远镜让我们能洞察遥远的星河,显微镜让我们观察微小的细胞一样,大数据将帮助我们完成在通常的眼光下无法完成的工作。
新工业革命,本质上是智能革命,而智能革命的基础是信息化,大数据是根本。没有大数据对客观事物全面、快速、真实、准确的信息反馈,任何智能设备都不可能实现真正的智能。因此,西方学者将即将来临的新工业革命也称之“后信息时代的革命”,归根到底,这是“大数据的革命”。以至于知名信息专家涂子沛说:“数据可以治国,也可以强国”,“得数据者得天下”。借用涂子沛的这句话,我们还可以说:“数据可以治业,数据可以兴业,得大数据者将占据新工业革命之先机!”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19