
《大数据时代》作者、牛津大学教授维克托.迈尔.舍恩伯格(ViktorMayer-Schönberger),今天在2014浦江创新论坛上发表了大数据工业4.0主题演讲。
舍恩伯格认为,世界的本质就是大数据,大数据正在开启重大的时代转型。大数据正在改变的的生活以及理解世界的方式,正在成为新发明和新服务的源泉。从因果关系到相关关系的思维变革,正是大数据的关键,建立在相关关系分析法基础上的预测才是大数据的核心。
其主体演讲内容整如下,有部分删节。
当我们谈大数据以及创新的背景时,追溯到百年前,亨利福特催生了当时的福特车型,启动了汽车的大众生产新时代。这不但改变了汽车制造业,改变了经 济,同时也改变了整个社会,改变了我们对距离和时空的感受感觉。之前,我们有亨利福特以及他的福特车型,而现在,我们有苹果手表即将上市。
在这样的背景下,如何定义创新?福特车型主要是与大众生产有关,就某一个车型进行最低成本的批量型生产。快进到现在的时代,苹果手表将会有上千种不同的配置,而且以低成本进行生产,既可以单纯大众生产,还可以进行个性化大众生产。
个性化大众生产,成为现代化的标志。再说创新,我们看到是从大众车型生产到个性化大众生产的时代,我们对本身的想法进行了否定。实际上,创新是 更好地对世界上发生的事情进行数据技术分析和理解。在人类发展当中,通过理解和观察做到创新,并且通过观察捕捉信息从而加深理解。
最近我们开始谈及小数据,因为收集、分析、储备、再使用数据成本非常高昂而耗费时间。现在我们看到要理解世界的方式和方法,是基于我们对于大数据无法正确理解而驱动的,这样的背景正在变化。
一、大数据带给我们对现实的新体验
我们收集分析储蓄数据,再改变数据分析的过程,改变了我们对世界进行理解的方式。从1989年到2010年这20年时间,全球数据的数量增长了 100倍,我们看到数据的爆炸性增长,我们从模拟世界进展到了数码世界或曰数字世界。为什么是这样?因为数量能够转化为质量。譬如我们拍数码照片,每一秒 钟一个人骑马的照片,如果连拍20张照片,可以突然看到数量的改变带来新的质量飞跃,这就是我们对现实的新的观察和体验,这就是数据所带来的改变,信息数 量增长,可以带来我们对世界洞察力新的变革。
二、大数据帮助我们更好理解世界
数据和与之相关的问题,是我们观察世界的出发点。换言之,要让数据说话,让数据来帮助人们看世界,让数据帮助我们更好地理解世界。譬如在拍照时必须 做焦点的选择,哪些是最重要的要作为焦点,而不重要变为模糊的背景?这时,我们会知道在数据时代什么对我们更重要。使用大数据相机拍摄,可以把所有的焦点 重心捕捉起来,在拍完照片之后,可以自己选择任何一个成为焦点的对象。大数据照相机的优点、力量所在,正是可以让数据说话,把互不关联的数据结合起来。通 过分析这些数据间的关系和关联,你可以找出一个事件的因果关系。
三、大数据创新改变生活的方方面面
上世纪50年代,美国国防部想让科学家打造一个软件,能够自动把俄文翻成英文,这个项目最后花费了10亿美金、以及15年时间,最后以失败而告终。 而现在加利福尼亚一个创业公司,利用因特网作为基础,创建统计性、或然性,打造出成功的翻译机器。利用大数据创新后的结果,比以前所有的对机器翻译的研究 都更加出色。
在健康领域,有一位博士利用大数据把数字传感器放到了早产儿身上,然后收集那些与他的生命体征非常相关的关键信息,包括他的血压、心跳数量,大概在 一秒钟内可传递1200多项相关的数据。假以时日,他们开始寻找这些数据所带来的模式和规律,通过这些模式和规律来预测这个孩子未来可能遭遇到的感染、与 之相关的疾病,从而帮助医护人员给早产儿更好的医疗护理。
四、重复使用数据以获取更大的价值
大数据的创新里蕴含有非常多的价值,但最重要的是可以在那些已经用过的数据里获取更大的价值。以前,我们根据数据的用处使用它,用完后把数据丢弃。 但是现在不是这样:我们要把数据一遍遍重复使用,像一座冰山,我们看到的只是冰山一角,数据最重要的价值都隐藏在我们看不见的海水下面。
美国西雅图创投公司重复使用数据,帮助人们在上下班的路上躲开交通堵塞区域。他们有APP(即应用),称之为热图,根据交通堵塞的不同情况显示不同 的颜色,每天都有1亿人在使用这个应用。这个数据从哪里来?每一个智能手机的用户,都是一个传感器,当你在行走或开车时,智能手机已把数据传输出去了,计 算你走在哪条路最佳。这些数据可进行重复,公共部门利用这些数据,可以更好了解公共交通状况。
罗罗公司(即劳斯莱斯),很长时间内都是为飞机提供引擎的,引擎上的传感器留下了很多数据,这些数据本来用后即弃,但现在,他们把这些数据重新整 理,可准备预测引擎里面哪一个零部件即将产生故障,根据预测结果可以提早进行维修和零件替换。所以,这个公司服务板块成长很快,服务创已占到营收总额的 17%。
多林格公司,开发了学习英语的智能手机应用。他们把所有的数据收集起来,发现分析人们学习英语时使用的各种方法,比如西班牙人学习英语的方法与中国 人学习方法不一样。他们使用了云计算服务,不需要很高成本,不需要建设生产制造商基地,不需要建立工厂,也不需要建立谷歌数据库那么大规模的数据库。
在现代世界里,物理规模已经不是那么重要,重要的是要有能力收集数据,有能力分析数据,从数据当中得出点子。
五、以谦逊、人性化的态度分析大数据
大数据的下一个趋势是什么?有了大数据之后,在未来我们肯定能够学的更多,我们也会变得更健康,寿命会延长,汽车会不需要司机但是,大数据显而 易见也有限制,在下一步我们一定要非常当心,以一种非常审慎的态度掌握大数据技术。非常重要的一点是,我们一定从大数据当中进行不断学习。
另外我们应专注于对人类有益的领域,这就是人和电脑之间的差异。我们应更加谦逊,谦逊是非常好的特质。数据经常是不完整、不完美的,我们做大数据分析时,不仅仅是用谦逊的态度去做,而且要以人性化态度分析大数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10