
人类知识的唯一来源,是对过去经验的记录和整理,而数据,正是这种记录的载体,因此数据的价值首先在于它是知识的来源。如果说传统的数据是人类部分知识的来源,那随着人类记录范围的不断扩大,现代意义上的大数据将逐渐成为人类全部知识的来源。
数据是对客观世界的测量和记录,这种记录也是对历史和现实的记录。1869 年,当美国总统加菲尔德在对美国的人口普查体系进行现代化改造之时,他就发现,数据当中不仅蕴藏着社会发展的规律,它还提供了一种全新的历史书写方式:
直到现在,历史学家还是以一种总体的形式来研究一个国家,他们只能给我们讲述帝王将相以及战争的历史,但关于人民本身我们庞大社会中每个生命的成长、各种力量、细节及其规律,历史学家说不出太多的东西而普查把我们的观察放大到民房、家庭、工厂、煤矿、田野、监狱、医院等集中展示人性之强大及脆弱的所有地方,这让新的历史记录成为可能。
今天回头看,此话非常具有前瞻性。随着人类跃进到大数据时代,数据不仅是新知识的来源,还是记录历史最重要、最可靠、最好的方式。从今以后,人类所有的历史记录,无论是数字、文档、图片,还是音频和视频,都将以数据的形式存在,数据就是静态的历史,历史就是动态的数据。历史的碎片,就是游离的数据;历史的迷雾,就是模糊的数据;历史的盲点,就是缺失的数据。用数据构建的历史,因为精确的细节而永远鲜活,数据越丰富,后世的历史学家也就越能经由数据更好地再现当时的社会。
除了发现知识、记录历史,本书认为,人类使用数据的巅峰形式,是通过数据训练机器,让机器获得智能,在不远的将来,无处不在的计算设备和网络将像有智商的人一样,为人类工作和服务。这意味着我们在向智能型社会迈进,在这个新的社会形态,由于精准的计算和预测,整个社会的各个部分可以像无数个大大小小的轴承和齿轮一样,环环相扣,齿齿吻合,日常管理将通过数据得到优化,各种任务、合作可以无缝对接,社会运行的成本可大幅降低,更重要的是,越来越多的工作将被计算机或者机器人代替。这既是进步,又是挑战。回望农业时代和工业时代,人类不断地开发我们赖以生存的自然环境,从地表到地下,物理性的资源终有耗尽的一天,而大数据将成为人类取之不尽、用之不竭的新资源,在这片资源之上,再通过软件和算法,人类将建设一个智能型世界。
数据,正在成为这个世界最重要的土壤和基础。
在这个社会转型的紧要关头,中国,作为正在赶超发达国家的发展中国家,历史将赋予我们前所未有的机遇。例如,当年的美国用了几十年的努力,才建立了全民信用制度,今天,因为掌握了客户的交易流水数据,阿里巴巴在短短几分钟之内就可以决定是否发放一笔贷款。利用无处不在的充沛数据,中国的全民信用体系可能在较短的时间内、以较小的成本就可以建立起来。又如,随着网络的普及,信用卡将数据化、虚拟化,实体信用卡将大幅减少甚至消失,这意味着我们的银行不用再像美国银行那样建设那么多的物理网点和自动存取款机了。再如,因为智能在线教育平台的出现,未来的教育资源完全不会局限于钢筋水泥的学校,中国教育资源紧缺的问题可能得到快速的、大幅的缓解。此外,可穿戴式电脑设备、智能软件诊断系统、远程医疗等技术的出现,将缓解医疗资源、专业人才的紧缺。
种种机遇,可以概括为后发优势。
以银行的自动存取款机为例。从下表可以看出,近年来,中国拥有的自动存取款机在迅速增加。 2012 年,中国平均每 10 万成年人拥有的自动提款机数量为37.51 台,但和英、美、日、加等发达国家相比,我们的差距还很大:加拿大平均每 10 万成年人拥有的自动存取款机为 205 台、美国为 173 台、日本为 127 台。如果要在数据上缩小、拉平这个差距,中国肯定还需要很多年的努力。但由于大数据、互联网金融的出现和普及,大部分金融交易都可以通过虚拟账户来完成。可以预见,未来的社会一定不需要那么多实体存取款机了,如果我们现在就能立足长远、科学规划,就可以跨越建设这些存取款机的环节、省去相应的费用,这就是后发优势。
数据来源:世界银行,Automated teller machines (ATMs) (per 100 000 adults),表示没有获得当年的年度数据。
2001 年前后,华裔经济学家杨小凯先生曾经提出,如果中国仅仅重视技术模仿,而忽视制度建设,后发优势就可能转化为后发劣势,但我认为,我们当下拥有的后发优势并不属于这个范畴。现在出现的后发优势,是因为人类正在从工业文明大步迈进信息文明,因为大数据的冲击、智能社会的到来,人类的地平线上出现了一些新方法来解决一些老问题,这些方法用的不是钢筋和水泥,而是软件和数据!
但要在全球竞争中把握住这种后发优势,并不容易。国与国之间的竞争,表面上是科技竞争、经济竞争,但归根结底,还是国民素质和文化的竞争。没有一个健康、理性、与时俱进的文化,一个国家就难以变得强大,本书的努力,就是试图在中国,把数据这个科技符号变成一个文化符号,将大数据这个高端精英的话题变成一个大众话题,使数据文化进入中国人的视野、融入中国人的意识和血液。
面对一轮又一轮的技术浪潮,世界各国的政府(包括欧美发达国家)的反应其实都很迟钝。信息技术发展到今天,它已经不是在推动社会的进步,而是在拉动社会的进步。如前文所述,如今社会的各种配套设施、管制规定已经滞后于信息技术的发展,技术的能量要全部释放,社会就必须重建自己的基础设施和管制体系。回头再看美国的镀金时代和进步时代,正是在从农业社会到工业社会的转型中,美国适时地抓住了机会,不仅成功化解了当时的社会危机,还实现了大国崛起。如今一个新的社会形态又在向我们靠近,在这个转折点上,对任何一个国家而言,战略选择都特别重要,其中最大的责任和挑战,莫过于政府。
但任何一个国家的建设和进步,又不能全盘系于政府。不调动全社会的力量、没有真正的公民,国家的进步就会缺乏长期的动力,其进步就只能依靠外部的刺激和外力的拖动,结果就是:跟在发达国家背后亦步亦趋。在中国社会几千年的封建王朝更替中,不乏这样的例子和教训。公民,无数的公民,才是推动一个社会不断进步的源源动力。对于中国社会的决策者而言,关键是要意识到,新技术的能量将打破权力的平衡,在传统的界限之外,已经出现了一些新的、可调用的资源,必须要有新思路、新手段去整合、调用这些资源。
改变,并不一定代表进步,但进步,一定需要改变。我们期待中国更多的进步和改变。这系于政府,系于中国大众,更系于中国的文化革新。
(选摘自涂子沛先生新作《数据之巅》结语)
数据,自古就有,人口普查、农业统计、军事战争、政治计算数据虽小,却有助于治国安邦。美国之所以繁荣鼎盛,数据文化根基牢不可破概是主因之一。
信息爆炸、互联互通、智慧城市时代,大数据,更以排山倒海之势席卷全球,政府施政、企业掘金,大众要公平与正义,大数据被赋予了新的历史使命。
在《数据之巅》这本书中,从小数据时代到大数据的崛起,作者以宏大的历史观、文化观、大数据观,给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起,通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征,系统梳理了美国数据文化的形成,阐述了其数据治国之道,论述了中国数据文化的薄弱之处,展望了未来数据世界的远景。
尊重事实,用数据说话,推崇知识和理性,用数据创新,作者不仅意在传承黄仁宇数目字管理的薪火,还试图把数据这个科技符号在中国转变为文化符号,形成一种文化话语体系。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28