京公网安备 11010802034615号
经营许可证编号:京B2-20210330
中国的IT基础不完善影响大数据使用
“中国在大数据方面所具有的优势是规模,可收集上亿的数据,这很难被超越。但中国企业的问题在于近几年发展得过快,因而来不及完善IT业的基础设施。”在10月25~26日的2014年浦江创新论坛上,《大数据时代》作者、牛津大学教授维克托·迈尔·舍恩伯格(Viktor Mayer-Schonberger)接受《第一财经日报》记者采访时如此描述中国在大数据时代下的现存问题。
在舍恩伯格看来,基础设施的不完善就意味着无法全面收集和处理数据。因此他建议,中国应在IT基础设施建设、鼓励数据抓取和处理领域投入更多。“明天就可以开始投入,而这种投入没有终点,需要不断完善。”舍恩伯格对《第一财经日报》记者表示。
《经济学人》曾将舍恩伯格定义为大数据领域最受人尊敬的权威发言人之一,因为《大数据时代》一书而在中国风靡的舍恩伯格明确提出了大数据时代的转变。他指出,大数据时代,相关关系比因果关系更重要,即需要知道“是什么”,而非“为什么”。
在本次浦江创新论坛上,舍恩伯格表示,大数据就像是个冰山,浮出水面的只是冰山一角,真正的价值在于水下的巨大部分。挖掘和了解水下的冰山需要反复利用大数据并不断地分析处理以得出有力的结论。
演讲过后,舍恩伯格接受了包括《第一财经日报》在内的中国媒体的采访。在他看来,“大数据的魅力就在于,未来创建公司并不取决于你有多少资金,而是你有多好的创意”。对于下一代的年轻人而言,最需要接受的教育并不是大数据如何分析,而是学习大数据的思维,懂得通过大数据来更好地观察和认识这个世界。一旦能读懂大数据背后的价值,就能找到无限的创新机遇。
大数据时代创业取决于创意
日报:对于年轻的创业者而言,大数据有何益处?
舍恩伯格:大数据最显著的作用在于它让创业的成本越来越小。想象一下,100年前你要建一个工厂,这是多么昂贵的事。但现在创立一个公司可能只需要几千美元的启动资金。如今的创业不需要建立一个厂房,也不需要大量的资金,因为电脑或办公用地都可以租用。
因此,大数据的魅力就在于,现在和未来创建公司并不取决于你有多少资金,而是你有多好的创意。未来我们一定会看到大量拥有创意的年轻创业者的涌现。
日报:上海市政府正在开放大数据,并和企业合作开发大数据的分析产品,你对此有何建议?
舍恩伯格:开放数据是政府大数据策略中的重要因素。因为它不仅仅通过开放了数据以提升社会的公共服务,还刺激了经济的增长,促进了大数据竞争中初创企业的成长。因此,我为上海市政府的这一作为鼓掌,开放数据还将催生更多与数据处理和应用相关的公司和经济。
提到建议,我们在美国和英国所见证的是,这些国家的政府已经开放了数据,但单纯公开还不足够。政府需要建立经济中心或机构去处理和分析数据,以实现大数据的应用。不加以分析和处理的数据只是数据,无人问津,政府还需要帮助企业和个人找到数据的利用价值。
另外,对于企业,我建议,不要只将数据应用在市场分析上,而是要真正创造出新的产品和新视角。
举个例子,在美国调查超市里最好卖的馅饼(Pie)是什么,每个人都回答说是苹果派。看起来美国人最喜欢苹果派。但通过对大数据分析,调查人员发现,如果超市改变了馅饼的大小,那样一个家庭就不需要买一整个大的馅饼,而是可以选择两三个小一点的馅饼,突然间,最好卖的派就不再是苹果派了,人们会选择不同种类的派。所以,现实是,美国人并非最喜欢苹果派。因此,通过对大数据的分析,可以得出更多复杂的细节,也可以找到市场中微小的商机。对于社会而言,大数据也会告诉你这个社会的多元和复杂性,但也可从中找到盈利点。
大数据的使用瓶颈在于分析工具
日报:中国政府和企业目前使用大数据的情况存在哪些问题?
舍恩伯格:我对于中国使用大数据的现状印象深刻。中国在大数据方面所具有的优势是规模,中国可以收集到几亿的数据,这很难被超越。但中国企业的问题在于近几年发展得过快,因而来不及完善IT业的基础设施。基础设施不完善就意味着无法收集和处理全面的数据。
对比发展相对缓慢的德国,企业和IT基础设施一起发展,因此就可以及时捕捉大数据。也就是说,德国比中国有更好的利用大数据的基础。建议中国未来在数据捕捉或处理的基础设施建设上更多投入。这种投入没有终点,需要不断完善。
日报:你认为大数据发展有哪些瓶颈?
舍恩伯格:从技术上来说,主要是分析工具。以前的分析工具主要是用于分析小范围内的数据,现在需要适用于大数据的分析工具。目前有很多大学正在研究。
大数据应用的挑战还在于理念。要充分认识到大数据的预测作用,从而可以反复利用数据带来的价值。因此对于年轻人和儿童而言,最需要接受的教育并不是数据如何分析,而是如何通过大数据来观察和认识这个世界。就像看到这个房间时看到的不只是沙发和桌子,还有室内能源消耗从而影响气候的数据等。
可以说,人们尚未建立对大数据影响的普遍认识是大数据发展的最大瓶颈。
如今谷歌正在创立无人驾驶的汽车公司。但谷歌是最擅长收集汽车驾驶情况和交通环境等各种数据的公司。未来的汽车公司也不再是传统的汽车生产型公司,而是可以提供可利用的数据来创造商机的服务型公司。
大数据时代需要新的隐私保护法
日报:有竞争的企业不愿共享信息这一问题如何解决?
舍恩伯格:有竞争关系的大公司的确不可能共享信息。这中间就存在巨大的商机,会催生新创立的小公司来做中间的连接。显然,美国各大航空公司不会合作建一个网站,发布它们的机票价格信息。这就出现了一家做机票打折信息服务的小企业,它分别与航空公司洽谈,每月支付一定的数据使用费来获取机票的价格来提供给乘客,从而让双方受益。
日报:在大数据时代,如何保护用户的隐私?
舍恩伯格:没有信任就没有大数据。政府的职责是要去建立使用大数据的法律法规以保护用户的隐私。
欧美现在面临的问题是,原先对于隐私的保护法规条例并不适用现在的大数据时代。我们非常需要一个全新的机制来保护个人隐私。新的机制不应该再是去询问用户愿不愿意分享这一数据,因为很多用户没有看条款就点击“同意”了。大数据时代需要法律法规来规定,基于怎样目的的数据可以被利用,哪些又不能被使用。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22