京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代带来的大变革
大数据时代的来临,带给我们众多的冲击,每个人都应当与时俱进、不断提升,放弃残缺的守旧思想,大胆接受新的挑战。
探讨大数据时代将给我们带来哪些变革,首先要搞清楚什么是大数据,其次,要厘清大数据会带来哪些变革,最后,要思考如何应对大数据时代的挑战。
什么是大数据?
国际数据公司定义了大数据的四大特征:海量的数据规模(vast)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。仅从海量的数据规模来看,全球IP流量达到1EB所需的时间,在2001年需要1年,在2013年仅需1天,到2016年则仅需半天。全球新产生的数据年增40%,全球信息总量每两年就可翻番。
而根据2012年互联网络数据中心发布的《数字宇宙2020》报告,2011年全球数据总量已达到1.87ZB(1ZB=10万亿亿字节),如果把这些数据刻成DVD,排起来的长度相当于从地球到月亮之间一个来回的距离,并且数据以每两年翻一番的速度飞快增长。预计到2020年,全球数据总量将达到35~40ZB,10年间将增长20倍以上。
需要强调的是:所谓大数据并不仅仅是指海量数据,而更多的是指这些数据都是非结构化的、残缺的、无法用传统的方法进行处理的数据。也正是因为应用了大数据技术,美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009 年甲型H1N1流感的暴发。
厘清大数据带来了哪些变革
就像电力技术的应用不仅仅是发电、输电那么简单,而是引发了整个生产模式的变革一样,基于互联网技术而发展起来的“大数据”应用,将会对人们的生产过程和商品交换过程产生颠覆性影响,数据的挖掘和分析只是整个变革过程中的一个技术手段,而远非变革的全部。“大数据”的本质是基于互联网基础上的信息化应用,其真正的“魔力”在于信息化与工业化的融合,使工业制造的生产效率得到大规模提升。
简而言之,“大数据”并不能生产出新的物质产品,也不能创造出新的市场需求,但能够让生产力大幅提升。正如,《大数据时代:生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔-舍恩伯格指出:数据的方式出现了3个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度,而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。
如何应对大数据带来的挑战
第一, 大数据将成为各类机构和组织,乃至国家层面重要的战略资源。
在未来一段时间内,大数据将成为提升机构和公司竞争力的有力武器。从某一层面来讲,企业与企业的竞争已经演变为数据的竞争,工业时代引以自豪的厂房与流水线,变成信息时代的服务器。阿里巴巴集团的服务器多达上万台,而谷歌的服务器超过了50万台。重视数据资源的搜集、挖掘、分享与利用,成为当务之急。
第二,大数据的公开与分享成为大势所趋,政府部门必须身先士卒。
2013年6月在英国北爱尔兰召开G8会议,签署了《开放数据宪章》,要求各国政府对数据分类,并且公开14类核心数据,包括:公司、犯罪与司法、地球观测、教育、能源与环境、财政与合同、地理空间、全球发展、治理问责与民主、保健、科学与研究、统计、社会流动性与福利和交通运输与基础设施。同年7月,我国国务院就要求推进9个重点领域信息公开工作。正如李克强总理所强调的,社会信用体系建设包括政务诚信、商务诚信、社会诚信的建设,而政务诚信是“三大诚信”体系建设的核心,政府言而有信,才能为企业经营作出良好示范。作为市场监督和管理者,政府应首当其冲推进政务公开,建设诚信政府。为此,国务院通过《社会信用体系建设规划纲要(2014~2020年)》,要求依法公开在行政管理中掌握的信用信息,提高决策透明度,以政务诚信示范引领全社会诚信建设。
第三,机构组织的变革与全球治理成为必然的选择。
在工业时代,以高度的专业分工形成的韦伯式官僚制组织形态,确实具有较高的效率。然而,这种专业化分工一旦走向极致,就容易出现分工过细、庞大臃肿、条块分割等弊端,无法有效应对新的挑战。大数据技术提供了一种解困之道:在管理的流程中,管理对象和事务产生的数据流只遵循数据本身性质和管理的要求,而不考虑专业分工上的区隔,顺应了全球治理的需要。
1990年,时任国际发展委员会主席勃兰特,首次提出“全球治理”的概念。所谓全球治理,指的是通过具有约束力的国际规制(regimes)和有效的国际合作,解决全球性的政治、经济、生态和安全问题,以维持正常的国际政治经济秩序。为了顺应全球治理的浪潮,我国应当构建自己的全球治理理论。深化对全球化和全球治理的研究,为世界贡献中国对全球治理的先进理念。
当然,构建我国最新的全球治理理论,当务之急是构建我们的国家治理理论,夯实基础。《中共中央关于全面深化改革若干重大问题的决定》指出,“全面深化改革的总目标是完善和发展中国特色社会主义制度,推进国家治理体系和治理能力现代化”。这充分体现了与时俱进的治理理念,切中了我们国家运行中的核心问题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07在数据分析、经营复盘、业绩预测与经济统计工作中,平均增速(平均增长率)是衡量数据长期变化趋势、业务发展快慢的核心指标。不 ...
2026-09-07 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-09-07随着大数据技术的快速发展,商业竞争逐步从传统的经验式经营转变为数据驱动的精细化运营。海量的用户行为数据、交易数据、运营数 ...
2026-09-04CDA数据分析师 出品 作者:李诗怡 1. 波士顿矩阵(BCG Matrix) 定义: BCG于1970年提出的业务组合分析工具,以"市场增长率"(纵 ...
2026-09-04 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-09-04数据透视表是Excel与Power BI中最核心的数据分析工具,具备快速汇总、维度拆分、动态筛选的能力,可高效完成数据归类与统计展示 ...
2026-09-03在Power BI数据分析可视化场景中,堆积柱状图+折线图是最常用的复合图表组合。堆积柱状图适合展示各细分维度当期数值、结构占比 ...
2026-09-03 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-09-03CDA数据分析师 出品 作者:李诗怡 一、8个核心数据清洗函数 1. TRIM:一键清除多余空格(最常用) 作用:仅保留文本中"单词/字 ...
2026-09-02数据分析的核心并非单纯操作工具、整理报表或绘制图表,而是依靠科学的思维逻辑挖掘数据价值、解释业务现象、指导经营决策。在完 ...
2026-09-02在社会经济、产业研究、区域治理与大数据实证分析中,面板数据是最具研究价值的数据类型。面板数据同时包含截面维度与时间维度信 ...
2026-09-02 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-09-02在数据驱动决策的体系中,数据分析按照分析目的可分为描述性分析、诊断性分析、预测性分析与指导性分析四大类型。其中,诊断性分 ...
2026-09-01网络请求是Python爬虫开发、接口测试、数据拉取的核心基础功能,Python生态中主要依靠 urllib 和 requests 两大库实现HTTP请求操 ...
2026-09-01 很多数据分析师面对业务问题时,常常感到“知道要分析,却不知道用什么方法”。其实,数据分析并非无章可循——从三大基础范 ...
2026-09-01在数据库设计与业务数据维护中,自增ID是数据表最常用的主键字段,用于唯一标识每一条业务数据,正常状态下ID应保持连续递增。但 ...
2026-08-31在数理统计、数据分析、经济测算与日常量化评估中,平均值是刻画数据集中趋势、反映整体水平的基础核心指标。在实际应用中,最常 ...
2026-08-31在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-08-31在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28