京公网安备 11010802034615号
经营许可证编号:京B2-20210330
近年来,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据。全世界都在为大数据这个概念沸腾,各行各业都在探讨大数据时代的机遇 与挑战。大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命,与信息化、智能化、数字化以及智慧城市建设息息相关,把握大数据的背景、特点、趋 势,对于更好地推进智慧城市建设具有重要的意义。
大数据及大数据时代
1、大数据的内涵与特征
大数据又被称为巨量数据、海量数据、大资料等,指的是所涉及的数据量规模巨大,以至于无法在合理时间内通过人工截取、管理、处理并整理成为 人类所能解读的信息。这些数据来自方方面面,比如传感器采集的气候信息、网站上的帖子、数字照片和视频、购物交易记录、手机GPS信号等。尽管尚无统一定 义,但这些无比庞大的数据被称为大数据。
大数据具有四个特征:一是数据量大,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);二是数据类型 繁多,包括网络日志、音频、视频、图片、地理位置信息等等,因而对数据的处理能力提出了更高的要求;三是价值密度相对较低,信息海量但是要完成数据的价值 提纯难度较大;四是巨大的数据价值,包括商业价值、社会价值、科研价值等。
2、大数据的价值与应用
大数据带来的巨大应用价值正渐渐被认可与接受,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,对科学研究、经济建设、社 会发展和文化生活等各个领域正在产生革命性的影响。美国已经明确将大数据提升为国家战略,我国的很多部门、机构已经在研究大数据、运用大数据。
目前大数据在互联网、电子商务以及咨询管理等方面已经有了一定的探索应用。在互联网领域,百度已经致力于开发自己的大数据处理和存储系统, 腾讯依靠大数据技术实现了广告精准投放、大数据精准移动推送、助力手游精细化运营等功能;在电子商务领域,阿里巴巴和淘宝网等电子商务企业都把大数据作为 自己核心的竞争力,利用大数据来分析人们购物的需求,制定定点广告和营销策略;在咨询管理领域,发达国家和许多知名企业都已开始利用大数据进行市场预测、 计划制定、销售管理等。
3、大数据时代的机遇与变革
大数据时代的来临,对经济社会发展的方方面面都将带来巨大的冲击,对人们的生产生活方式都将带来深刻的变化。
一是对相关产业发展的机遇,根据国际数据公司(IDC)的预测,到2015年全球大数据及相关的硬件、软件和服务市场将达到200亿美元, 平均增长速度每年超过50%,Oracle对Sun、惠普对Autonomy两个以大数据为主题的并购案总金额高达176亿美元,大数据的产业价值由此可 见一斑。
二是对相关企业的机遇,大数据的应用对企业管理水平提升意义重大,大数据并不能生产出新的物质产品,也不能创造出新的市场需求,但能够 让生产力大幅提升。麦肯锡在一份名为《大数据是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出:对于企业来说,海量数据的运用将成为未来竞争和 增长的基础。
三是对政府的机遇,联合国在2012年发布的大数据政务白皮书指出,大数据对于联合国和各国政府来说是帮助政府实时响应经济社会运行的历史 性机遇,奥巴马政府甚至将大数据定义为未来的新石油,并表示一个国家或区域拥有数据的规模、活性及解释运用的能力将成为综合实力的重要组成部分。
大数据与智慧城市建设
近年来,国际国内掀起了智慧城市建设的热潮,仅我国截至目前明确提出创建智慧城市行动计划及发展战略的城市已有200多个。大数据为智慧城市建设提供了新的技术、新的路径、新的要求新的机遇。
1、大数据是智慧城市建设的关键技术
智慧城市相对于之前数字城市概念,最大的区别在于要对感知层获取的数据进行大数据处理,从而获得支撑和保障智慧城市顺利运营的多元信息。一座真正的智慧城市,要体现出人类社会对现代城市和运营管理的智慧化目标,必然需要对各种数据进行充分分析和利用。
要实现对数字信息的智慧处理,前提是引入大数据处理技术,从而来整合分析跨地域、跨行业、跨部门的海量数据的处理,将特定的信息应用于特定 的行业和特定的解决方案中。可以说,智慧城市的应用过程实际上就是对数据采集、分析、存储和利用的过程,大数据是智慧城市各个领域都能够实现智慧化的 关键性支撑技术。
2、大数据在智慧城市中有广泛的应用领域
大数据在智慧城市中的落脚点就是为智慧城市的各个领域提供强大的决策支持,大数据就像血液一样遍布智慧交通、智慧医疗、智慧生活等智慧城市各个应用系统,使城市管理从经验治理转向科学治理。
有专家指出,如果智慧城市是人,大数据就是大脑,大数据的应用可以遍布智慧城市的方方面面。在智慧交通系统中,通过对道路、车辆、天 气、行人等大量交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据;在智慧安防系统中,通过平安城 市、智能交通管理、环境保护、危化品运输监控、食品安全监控等大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力等; 在智慧城管系统中,通过对不同时间段、不同区域、不同部门获得的大量监测数据进行实时采集、实时处理及深度挖掘,实现对城市管理实时监控与长期管理优化。
3、大数据对智慧城市建设提出了新的要求
大数据为智慧城市建设提供了新的技术和手段,同时也为智慧城市建设提出了新的要求。
一是要更加注重信息共享。我国智慧城市建设的一个瓶颈在于信息孤岛效应,各政府部门间不愿公开、分享数据,这就造成数据之间的割裂,无 法产生数据的深度价值和综合价值。在大数据时代,智慧城市建设应大力推进大数据基础平台和基础网络建设,积极推进信息资源数据交换和共享体系建设,使大数 据真正产生大智慧。
二是要更加注重信息安全。大数据时代,数据资产化成为趋势,企业内部运行数据和客户资料成为宝贵的数据资产,而且很多智慧城市应用系统涉及公民财产安全甚至国家安全,数据价值很高,因此信息安全问题成为大数据时代智慧城市建设重要难题。
三是要更加注重大数据产业的发展。智慧城市必然催生大数据运营行业的快速发展,包括大数据的采集、储存、分析、挖掘等相关技术、设备与服 务,并且市场潜力十分巨大。专家预计,未来三年我国智慧城市大数据应用市场年均增长将超过100%。因此,在智慧城市建设过程中,要高度重视、积极培育围 绕大数据运营管理的相关产业和龙头企业。
大数据时代推进宁波智慧城市建设的几点建议
宁波作为我国智慧城市建设的首倡者之一和践行者,在国内率先提出建设智慧城市的战略决策、出台智慧城市专项规划,并且在网络基础设施、信息 整合利用、重点智慧应用、智慧产业发展等方面取得了积极进展,先后荣获全国智慧城市领军城市、中国智慧城市推进十强城市等荣誉称号。在大数据时 代,宁波要充分认识大数据的意义和价值,把握大数据发展的趋势特点,加快大数据发展及在智慧城市建设中的应用。
1、强化对大数据的研究
加大对大数据相关课题的立项和资助力度,引导在甬科研院所和相关企业成立大数据技术创新联盟,进一步加强对大数据发展前沿技术和信息的持续 跟踪研究。引进中科院计算所等知名科研院所在宁波设立研究机构,适时组建宁波大数据科学研究院,积极开展以社会需求为导向的大数据科学研究,建立大数据分 析平台,努力推出具有自主知识产权的大数据分析设备、软件和服务,加速大数据理论、技术和应用的创新。
2、优化大数据形成机制
加强政府部门在管理和服务过程中对数据的主动采集,在构建人口、法人、自然资源与空间地理、宏观经济等基础数据库,经济社会重点领域的信息 资源综合数据库和专业数据库的基础上,建立政府大数据库。鼓励制造业企业和商业机构加强对生产经营活动中的数据采集,形成覆盖生产过程和商业各环节各流程 的数据库。推进无线识别技术、传感器、无线网络、传感网络等新技术的广泛应用,提高数据采集的智能化水平。强化对大数据建设工作的组织协调,打破地区和部 门数据壁垒,实现数据资源联合共建、广泛共享。
3、加快大数据产业发展
出台大数据产业发展与应用规划纲要,规划建设大数据产业基地,出台专项政策,成立产业发展基金,搭建研发创新平台,吸引三大电信运营商、知 名大数据企业以及互联网领军企业落户。积极培育本地大数据企业,进一步培养和引进大数据专业人才、领军人才、应用型人才,重点发展数据获取、存储、集成、 挖掘、管理、融合、安全、可视化、建模等技术以及大数据一体机、新型架构计算机、大数据获取工具、大数据管理产品、大数据分析软件等硬件装备和软件产品, 逐步打造形成国家级数据存储与备份中心和全国数据资源聚集服务区。
4、推进大数据普及应用
从推进大数据商业化应用、推动政务大数据应用两方面入手,大力促进大数据普及应用。在政务方面,重点选取医疗卫生、食品安全、港口物流、智 慧交通、公共安全、科技服务等具有大数据基础的领域,建设大数据公共服务平台,强化大数据在智慧城市建设应用系统中的应用。在商业化方面,实施典型应用示 范工程,支持和鼓励行业协会、中介组织开发深度加工的行业应用数据库,建立行业应用和商业服务大数据公共服务平台,提供数据挖掘分析和商业智能等大数据应 用服务。推动大数据在生产过程中的应用,鼓励有条件的企业运用大数据开展个性化制造,创新生产管理模式,提高企业竞争力。
5、加强大数据规范管理
研究大数据产业相关的政策法规,提出数据资源权益、隐私保护等方面的法规细则建议,制定大数据相关标准,并提出技术解决手段,在保护数据资 源的同时,促进数据资源合理有序地开发利用。在人才、财税、科技金融等方面出台有利于数据人才和数据产业发展的政策,逐步建立有利于大数据研究与发展的制 度法规体系。重视大数据及其信息安全体系建设,加大对大数据信息安全形势的宣传力度,明确大数据的重点保障对象,加强对敏感和要害数据的监管,加快面向大 数据的信息安全技术的研究,培养大数据安全的专业人才,建立并完善大数据信息安全体系。
(作者为市政府发展研究中心人才资源 研究所副所长、博士)
相关链接
大数据时代,政府要领跑
徐继华在《人民日报》刊文说,政府部门在数据占有方面,无疑具有天然的优势。有专门的统计部门、干部队伍进行相关工作,有人口普查、经济普 查一类的信息资料,日常工作中也积累了大量与社会经济生活息息相关的数据。但遗憾的是,很多数据还在沉睡。一些政府部门,或是缺乏看深一层的眼界,没有 大数据思维,把自己掌握的丰富信息锁在柜中、束之高阁;或是缺乏迈开步子的勇气,摆脱不了数据小农意识,动辄以保密和隐私说事。这些都极大妨碍了 政府在大数据时代保障公众知情权、提高自身服务能力的步伐。
大数据不仅是技术变革,更是一场社会变革,必然伴随公共管理与公共服务领域的变革。很大程度上,大数据就是政府治理现代化的一条技术路径, 具有催生管理革命的效果,也必将给政府职能转变和机构改革带来新的气象。大数据时代到来,政府正该把握住这一时代潮流,广泛采集数据、综合处理数据,实现 公共服务的技术创新、管理创新和模式创新,这是大数据时代的必然选择。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27