京公网安备 11010802034615号
经营许可证编号:京B2-20210330
得大数据者得新工业革命先机
数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
世界经济论坛第十届新领军者年会即夏季达沃斯论坛即将在天津举行,主题为“第四次工业革命——转型的力量”。届时,全球90多个国家和地区的超过1500位各界领军人物将集中探讨第四次工业革命对未来经济、社会、生态和文化的重要影响。今年1月下旬在瑞士小镇举行的达沃斯年会,主题也是“掌控第四次工业革命”,主要讨论第四次工业革命将如何改变人类生产、分配和消费模式,如何应对由此带来的挑战。世界顶级企业家与智库一年内两度探讨同一主题,在达沃斯论坛历史上还是首次。世界精英如此心仪新工业革命,盖因世界经济遇到了瓶颈,人们急切期望从新工业革命中找到突破口,找到人类可持续发展的钥匙。而要理解新工业革命,先得弄清大数据革命。
一般认为,大数据的数量级是在“太字节”即2的40次方以上,一般软件人员难以收集、存储、管理和分析的数据,而且这种认定还是相对的,随着科技进步,“大”的认定还会不断变化。但仅仅因为“大”而称之为大数据,风靡全球的大数据革命就没有太大意义了。在小数据时代,我们只能有选择性采集抽样数据、局部数据和片面数据,有时甚至在无法获得实证时纯粹靠经验、理论、假设和价值观去发现未知领域的规律。结果只能是对真实世界的抽象归纳与推理,这就不可避免包含了人的心理和主观因素。同时,由于样本的局部性,时间非全天候性,归纳推理中的主客观偏差,有时可能出现“蝴蝶效应”,差之毫厘,谬以千里。
大数据的真正意义在于:通过传感器,实现真实世界的全方位连接,得到全方位实时数据,交换、整合和云计算,逼近真实世界。
小数据追求“小”、“精”、“优”;大数据追求的是“多”、“杂”、“更优”。小数据时代,受科技水平的限制,只能依据随机样本,大数据则要求所有数据,在小数据时代只有5%的数据符合样本结构化要求,剩下的95%数据都被排斥在外了。大数据则良莠不拒,不求随机样本,而是全体数据;不求精确性,而是混杂性。小数据探求因果关系,即知道“为什么”,以便归纳推理和预测;而大数据只知道相关关系,不必知道因果关系,只要知道“是什么”不必知道“为什么”。小数据追求精确、完美,往往导致不精确、不完美;大数据不求精确、不求完美,反而导致了观测客观世界的更精确、更完美。如2009年谷歌通过大数据分析准确地得出什么地方发现了H1N1禽流感,而且判断非常及时,比美国疾控中心的判断结论要早一两周。美国安大略理工学院卡罗琳·麦格雷戈博士利用软件预测早产儿的病情,不仅比专业医生及时,而且一些病状,医生不能发现,而计算机能发现。这些人都没有医疗方面的专业背景。这样的例子在大数据时代还有很多。正如“大数据时代的预言家”,牛津大学教授维多克·迈尔-舍恩伯格所言:“在不久的将来,世界许多依靠人类判断力的领域都会被计算机系统所改变甚至取代。”这看似是一个矛盾的命题,其实是一个方法论上的革命,即“大数据革命”。
明代著名思想家洪应明说过:“文章极处无奇巧,人品极处只本然。”一个人写文章写到登峰造极的境界时,其实并没有什么写作艺术可言,只是把内心的真实感受真实地表现出来,让读者从内心产生共鸣。一个人的品德修养达到炉火纯青的境界时,就能“随心所欲不逾矩”,让人回归到纯真朴实的本然之性而已。大数据革命与此异曲同工:“工业革命无奇巧,数据大时只本然”。数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识世界的能力越强,人类征服世界和改造世界的能力也越强。
大数据“多”、“快”“好”“省”的优点奠定了新工业革命的基石。“数据多”,随着科技水平的进一步发展,大数据将无限逼近真实世界。“速度快”,全天候随时实现信息交换,没有时滞。“效果好”,大数据增加了人类的“观测”能力。美国麻省理工学院布伦乔尔森将大数据称之为人类社会行为观测的“显微镜”,就像望远镜让我们能洞察遥远的星河,显微镜让我们观察微小的细胞一样,大数据将帮助我们完成在通常的眼光下无法完成的工作。
新工业革命,本质上是智能革命,而智能革命的基础是信息化,大数据是根本。没有大数据对客观事物全面、快速、真实、准确的信息反馈,任何智能设备都不可能实现真正的智能。因此,西方学者将即将来临的新工业革命也称之“后信息时代的革命”,归根到底,这是“大数据的革命”。以至于知名信息专家涂子沛说:“数据可以治国,也可以强国”,“得数据者得天下”。借用涂子沛的这句话,我们还可以说:“数据可以治业,数据可以兴业,得大数据者将占据新工业革命之先机!”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在机器学习实践中,“超小数据集”(通常指样本量从几十到几百,远小于模型参数规模)是绕不开的场景——医疗领域的罕见病数据、 ...
2025-12-17数据仓库作为企业决策分析的“数据中枢”,其价值完全依赖于数据质量——若输入的是缺失、重复、不一致的“脏数据”,后续的建模 ...
2025-12-17在CDA(Certified Data Analyst)数据分析师的日常工作中,“随时间变化的数据”无处不在——零售企业的每日销售额、互联网平台 ...
2025-12-17在休闲游戏的运营体系中,次日留存率是当之无愧的“生死线”——它不仅是衡量产品核心吸引力的首个关键指标,更直接决定了后续LT ...
2025-12-16在数字化转型浪潮中,“以用户为中心”已成为企业的核心经营理念,而用户画像则是企业洞察用户、精准决策的“核心工具”。然而, ...
2025-12-16在零售行业从“流量争夺”转向“价值深耕”的演进中,塔吉特百货(Target)以两场标志性实践树立了行业标杆——2000年后的孕妇精 ...
2025-12-15在统计学领域,二项分布与卡方检验是两个高频出现的概念,二者都常用于处理离散数据,因此常被初学者混淆。但本质上,二项分布是 ...
2025-12-15在CDA(Certified Data Analyst)数据分析师的工作链路中,“标签加工”是连接原始数据与业务应用的关键环节。企业积累的用户行 ...
2025-12-15在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11在CDA(Certified Data Analyst)数据分析师的工作体系中,数据库就像“数据仓库的核心骨架”——所有业务数据的存储、组织与提 ...
2025-12-11在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04