京公网安备 11010802034615号
经营许可证编号:京B2-20210330
环境大数据应用“含苞待放”_数据分析师考试
近期,大数据的“倩影”频繁出现在国家出台的各项方案和指导意见中,也成为环保系统热议的内容。
据了解,北京、武汉等不少省市的数据资源中心早已建成。截至目前,全国将近2/3省(自治区、直辖市)环保厅都已建成或正在建设环境数据资源中心。
面临大数据的龙卷风,环境数据资源中心是否做好了准备?环境大数据应用走到了哪个阶段?
数据如何“开口说话”?
相比于其他省市的环境信息化建设,北京市环境信息化建设起步较早。北京市环境数据中心的建设开始于2012年,并于2013年正式投入使用,目前,北京市环保局各个业务处室主要的业务数据已经进入环境数据中心。
北京市环境信息中心主任陈海宁介绍说,数据中心的建设极大地便利了环保工作,比如原先环境监察人员进行污染源监管,需要查阅大量纸质资料,手工记录现场情况,现在只要通过监控终端或移动客户端直接调取数据中心的数据,就可以对污染源相关数据进行查阅和记录,环境监管省时省力。
但不久之后,陈海宁的困惑也出现了,“数据中心是建成了,但数据中心对各业务部门的帮助还很有限,如何开发更好的大数据产品为环境管理服务,成为数据中心要突破的瓶颈。”
同样走在前头的武汉市也面临类似问题。武汉市环境信息中心主任詹炜介绍说,武汉环境数据中心很早就集成了各业务部门的数据,“但现在这些数据只用来做一些简单的统计和报表,数据还没有真正‘开口说话’。”
而更多省环保厅的环境信息中心处于不断建设和完善的状态。据了解,内蒙古环境数据中心已经基本建成,目前已经进入第三期建设;云南省正处在“数字环保”第二阶段,重点建设资源数据中心。
环境保护部信息中心也很早就开始注意到数据资源的开发情况,希望大数据可以成为解决环保管理问题的钥匙。去年开始,环境保护部信息中心副主任徐富春带领探索大数据应用,与微软(中国)有限公司合作开发了城市局地大气主要污染物时空分布大数据模型——U-Air,这一合作也开启了大数据应用的“第一春”。
以U-Air为代表的大数据应用兴起
目前,我国地面空气质量监测点位的设置是根据行政区域设置,站点数量非常有限,不能反映污染物的空间分布,易受站点附近环境影响,造成不同区域受众对数据可信性的质疑。
就北京来说,北京市有35个地面空气质量监测点,但不能完全反映整个北京市的空气质量状况。“U-Air通过获取地面监测站的空气质量数据,结合交通流、道路结构、兴趣点分布、气象条件和人们流动规律等大数据,用基于机器认知的算法就能模拟出城市细粒度(1km×1km)的空气质量,并能对未来24小时的空气质量进行预测。”徐富春说,这不仅弥补了地面监测在地域上的局限性,实时监测每一寸土地,也破解了在没有污染源排放清单、排放边界不太清楚的条件下,如何预测城市空气质量的难题。
“U-Air是一个运用大数据解决环保问题的典型案例,并且在科学性和技术性上都经过了一定的验证。”徐富春告诉记者,大数据应用需要满足3个条件,第一就是数据量要足够大,第二是数据类型要多元化,第三是要基于机器认知的学习方法和算法。U-Air除了有行业类结构化数据,还有城市道路数据、路网结构、气象数据、地理位置、城市特征分布等数据,后台也具备机器学习和认知计算的条件。
微软(中国)有限公司资深架构师罗彤介绍,未来U-Air将可以提前预测1小时~5 小时的空气质量,以帮助人们更好地计划自己的生活,比如什么时候和去哪里慢跑,什么时候应该关窗户、什么时候应该带上口罩。
其实,除了微软在大数据应用方面开展探索外,面对大数据这块大蛋糕,环保产业已经跃跃欲试。
中科宇图天下科技有限公
司还建设了自己的大数据中心。据中科宇图总裁姚新介绍,公司的大数据中心不仅包括各地环保业务数据,还有与环保相关的行业数据,目前,他们也研发了空气质量预警预测模型。
北京力鼎创软科技有限公司提出了“霾计算”总体架构,结合传统空气监测数据、污染源数据、气象数据、交通数据、餐饮、学校、加油站等信息,对空气质量进行预警预测。
北京思路创新科技有限公司则利用大数据推出了环保快搜功能,实现了各类业务一体化查询。此外,环保快搜还可以根据用户偏好分析,自动为用户推荐可能需要的环境数据。如污防部门每个季度都需要超标排放的企业数据,系统可以定时为用户推送。
大数据分析的核心就是算法和模型的研究,IBM中国研究院在大数据应用的模型上下足了功夫。据IBM中国研究院高级总监王海峰介绍,IBM采用Watson认知计算技术融合多类型多来源模型(物理模型、学习模型、专家模型),建立了可自调节的空气质量超级模型,可以用于环境污染仿真建模和天气预测与预警。王海峰还介绍了大数据在监测污染源方面的独特优势,通过对卫星观测数据、移动用户提供的污染源信息、地面污染源监测数据进行计算,就可以识别异常数据,为环境执法提供依据。
而大数据产业的发展又为环保部门与企业的合作提供了新的机遇。在环境保护部信息中心3月举行的一次环境信息资源应用研讨会上,鄂尔多斯遇上了IBM。
鄂尔多斯大数据平台只是开端
记者了解到,鄂尔多斯环保工作已经进入信息化带动环境管理的新阶段,环境数据资源中心也已建成,未来将全部布置在鄂尔多斯大数据中心。
鄂尔多斯环保局局长董介中介绍说,鄂尔多斯大数据中心将拥有市政、交通、农业、气象、能源等社会各方面的数据,不久,环保数据将真正对接大数据。开发大数据平台、利用大数据为环保管理工作服务是鄂尔多斯环保局急切要解决的问题。于是,在环境保护部信息中心、内蒙古自治区环保厅的支持和指导下,鄂尔多斯环保局与IBM合作建成环保大数据平台,并初步投入使用。
目前,除了传统的地面观测数据、排放清单、重点污染源监测数据、气象数据、地形地貌,大数据平台还集纳了卫星遥感数据、企业生产数据、移动传感器数据、社会舆论、企业信用情况等数据资源。
“大数据平台的一大特点就是可以准确溯源,当自动观测站数据发生异常的时候,平台会自动触发溯源分析,依次进行气象分析、空气质量分析,然后开始污染溯源,再进行企业集中生产分析。”董介中告诉记者,大数据平台溯源可以给出量化分析结果,从而为精准执法提供数据支撑,有利于提高执法效率。
以往,溯源基本上依靠人工观测,无法估算具体的贡献量,极容易出现偏差。鄂托克旗位于内蒙古乌海市与鄂尔多斯市交界处,毗邻多个工业园区,污染状况一直处于说不清的状态,经过大数据平台的计算,鄂托克旗彻底搞清了污染来源。“大数据平台的溯源功能便于我们环保部门有针对性地开展环境治理。”董介中说。
除了溯源外,大数据平台还可以对重污染天气进行预测预警,甚至可以预测哪一天将出现重污染天气,从而有利于环保部门有针对性地管控污染源,避免重污染天气的出现。鄂尔多斯信息中心接入在线监控数据和空气自动站数据后,记者看到一张色块动态图,绿色代表空气质量最优,颜色越来越深,就代表空气质量越来越差。
鄂尔多斯环保局大数据平台可说是环保系统开展大数据应用的一个代表,大数据建设也将成为环境保护部下一步工作的重点。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19