京公网安备 11010802034615号
经营许可证编号:京B2-20210330
环境大数据应用“含苞待放”_数据分析师考试
近期,大数据的“倩影”频繁出现在国家出台的各项方案和指导意见中,也成为环保系统热议的内容。
据了解,北京、武汉等不少省市的数据资源中心早已建成。截至目前,全国将近2/3省(自治区、直辖市)环保厅都已建成或正在建设环境数据资源中心。
面临大数据的龙卷风,环境数据资源中心是否做好了准备?环境大数据应用走到了哪个阶段?
数据如何“开口说话”?
相比于其他省市的环境信息化建设,北京市环境信息化建设起步较早。北京市环境数据中心的建设开始于2012年,并于2013年正式投入使用,目前,北京市环保局各个业务处室主要的业务数据已经进入环境数据中心。
北京市环境信息中心主任陈海宁介绍说,数据中心的建设极大地便利了环保工作,比如原先环境监察人员进行污染源监管,需要查阅大量纸质资料,手工记录现场情况,现在只要通过监控终端或移动客户端直接调取数据中心的数据,就可以对污染源相关数据进行查阅和记录,环境监管省时省力。
但不久之后,陈海宁的困惑也出现了,“数据中心是建成了,但数据中心对各业务部门的帮助还很有限,如何开发更好的大数据产品为环境管理服务,成为数据中心要突破的瓶颈。”
同样走在前头的武汉市也面临类似问题。武汉市环境信息中心主任詹炜介绍说,武汉环境数据中心很早就集成了各业务部门的数据,“但现在这些数据只用来做一些简单的统计和报表,数据还没有真正‘开口说话’。”
而更多省环保厅的环境信息中心处于不断建设和完善的状态。据了解,内蒙古环境数据中心已经基本建成,目前已经进入第三期建设;云南省正处在“数字环保”第二阶段,重点建设资源数据中心。
环境保护部信息中心也很早就开始注意到数据资源的开发情况,希望大数据可以成为解决环保管理问题的钥匙。去年开始,环境保护部信息中心副主任徐富春带领探索大数据应用,与微软(中国)有限公司合作开发了城市局地大气主要污染物时空分布大数据模型——U-Air,这一合作也开启了大数据应用的“第一春”。
以U-Air为代表的大数据应用兴起
目前,我国地面空气质量监测点位的设置是根据行政区域设置,站点数量非常有限,不能反映污染物的空间分布,易受站点附近环境影响,造成不同区域受众对数据可信性的质疑。
就北京来说,北京市有35个地面空气质量监测点,但不能完全反映整个北京市的空气质量状况。“U-Air通过获取地面监测站的空气质量数据,结合交通流、道路结构、兴趣点分布、气象条件和人们流动规律等大数据,用基于机器认知的算法就能模拟出城市细粒度(1km×1km)的空气质量,并能对未来24小时的空气质量进行预测。”徐富春说,这不仅弥补了地面监测在地域上的局限性,实时监测每一寸土地,也破解了在没有污染源排放清单、排放边界不太清楚的条件下,如何预测城市空气质量的难题。
“U-Air是一个运用大数据解决环保问题的典型案例,并且在科学性和技术性上都经过了一定的验证。”徐富春告诉记者,大数据应用需要满足3个条件,第一就是数据量要足够大,第二是数据类型要多元化,第三是要基于机器认知的学习方法和算法。U-Air除了有行业类结构化数据,还有城市道路数据、路网结构、气象数据、地理位置、城市特征分布等数据,后台也具备机器学习和认知计算的条件。
微软(中国)有限公司资深架构师罗彤介绍,未来U-Air将可以提前预测1小时~5 小时的空气质量,以帮助人们更好地计划自己的生活,比如什么时候和去哪里慢跑,什么时候应该关窗户、什么时候应该带上口罩。
其实,除了微软在大数据应用方面开展探索外,面对大数据这块大蛋糕,环保产业已经跃跃欲试。
中科宇图天下科技有限公
司还建设了自己的大数据中心。据中科宇图总裁姚新介绍,公司的大数据中心不仅包括各地环保业务数据,还有与环保相关的行业数据,目前,他们也研发了空气质量预警预测模型。
北京力鼎创软科技有限公司提出了“霾计算”总体架构,结合传统空气监测数据、污染源数据、气象数据、交通数据、餐饮、学校、加油站等信息,对空气质量进行预警预测。
北京思路创新科技有限公司则利用大数据推出了环保快搜功能,实现了各类业务一体化查询。此外,环保快搜还可以根据用户偏好分析,自动为用户推荐可能需要的环境数据。如污防部门每个季度都需要超标排放的企业数据,系统可以定时为用户推送。
大数据分析的核心就是算法和模型的研究,IBM中国研究院在大数据应用的模型上下足了功夫。据IBM中国研究院高级总监王海峰介绍,IBM采用Watson认知计算技术融合多类型多来源模型(物理模型、学习模型、专家模型),建立了可自调节的空气质量超级模型,可以用于环境污染仿真建模和天气预测与预警。王海峰还介绍了大数据在监测污染源方面的独特优势,通过对卫星观测数据、移动用户提供的污染源信息、地面污染源监测数据进行计算,就可以识别异常数据,为环境执法提供依据。
而大数据产业的发展又为环保部门与企业的合作提供了新的机遇。在环境保护部信息中心3月举行的一次环境信息资源应用研讨会上,鄂尔多斯遇上了IBM。
鄂尔多斯大数据平台只是开端
记者了解到,鄂尔多斯环保工作已经进入信息化带动环境管理的新阶段,环境数据资源中心也已建成,未来将全部布置在鄂尔多斯大数据中心。
鄂尔多斯环保局局长董介中介绍说,鄂尔多斯大数据中心将拥有市政、交通、农业、气象、能源等社会各方面的数据,不久,环保数据将真正对接大数据。开发大数据平台、利用大数据为环保管理工作服务是鄂尔多斯环保局急切要解决的问题。于是,在环境保护部信息中心、内蒙古自治区环保厅的支持和指导下,鄂尔多斯环保局与IBM合作建成环保大数据平台,并初步投入使用。
目前,除了传统的地面观测数据、排放清单、重点污染源监测数据、气象数据、地形地貌,大数据平台还集纳了卫星遥感数据、企业生产数据、移动传感器数据、社会舆论、企业信用情况等数据资源。
“大数据平台的一大特点就是可以准确溯源,当自动观测站数据发生异常的时候,平台会自动触发溯源分析,依次进行气象分析、空气质量分析,然后开始污染溯源,再进行企业集中生产分析。”董介中告诉记者,大数据平台溯源可以给出量化分析结果,从而为精准执法提供数据支撑,有利于提高执法效率。
以往,溯源基本上依靠人工观测,无法估算具体的贡献量,极容易出现偏差。鄂托克旗位于内蒙古乌海市与鄂尔多斯市交界处,毗邻多个工业园区,污染状况一直处于说不清的状态,经过大数据平台的计算,鄂托克旗彻底搞清了污染来源。“大数据平台的溯源功能便于我们环保部门有针对性地开展环境治理。”董介中说。
除了溯源外,大数据平台还可以对重污染天气进行预测预警,甚至可以预测哪一天将出现重污染天气,从而有利于环保部门有针对性地管控污染源,避免重污染天气的出现。鄂尔多斯信息中心接入在线监控数据和空气自动站数据后,记者看到一张色块动态图,绿色代表空气质量最优,颜色越来越深,就代表空气质量越来越差。
鄂尔多斯环保局大数据平台可说是环保系统开展大数据应用的一个代表,大数据建设也将成为环境保护部下一步工作的重点。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在用户从“接触产品”到“完成核心目标”的全链路中,流失是必然存在的——电商用户可能“浏览商品却未下单”,APP新用户可能“ ...
2026-01-14在产品增长的核心指标体系中,次日留存率是当之无愧的“入门级关键指标”——它直接反映用户对产品的首次体验反馈,是判断产品是 ...
2026-01-14在CDA(Certified Data Analyst)数据分析师的业务实操中,“分类预测”是高频核心需求——比如“预测用户是否会购买商品”“判 ...
2026-01-14在数字化时代,用户的每一次操作——无论是电商平台的“浏览-加购-下单”、APP的“登录-点击-留存”,还是金融产品的“注册-实名 ...
2026-01-13在数据驱动决策的时代,“数据质量决定分析价值”已成为行业共识。数据库、日志系统、第三方平台等渠道采集的原始数据,往往存在 ...
2026-01-13在CDA(Certified Data Analyst)数据分析师的核心能力体系中,“通过数据建立模型、实现预测与归因”是进阶关键——比如“预测 ...
2026-01-13在企业数字化转型过程中,业务模型与数据模型是两大核心支撑体系:业务模型承载“业务应该如何运转”的逻辑,数据模型解决“数据 ...
2026-01-12当前手游市场进入存量竞争时代,“拉新难、留存更难”成为行业普遍痛点。对于手游产品而言,用户留存率不仅直接决定产品的生命周 ...
2026-01-12在CDA(Certified Data Analyst)数据分析师的日常工作中,“挖掘变量间的关联关系”是高频核心需求——比如判断“用户停留时长 ...
2026-01-12在存量竞争时代,用户流失率直接影响企业的营收与市场竞争力。无论是电商、互联网服务还是金融行业,提前精准预测潜在流失用户, ...
2026-01-09在量化投资领域,多因子选股是主流的选股策略之一——其核心逻辑是通过挖掘影响股票未来收益的各类因子(如估值、成长、盈利、流 ...
2026-01-09在CDA(Certified Data Analyst)数据分析师的工作场景中,分类型变量的关联分析是高频需求——例如“用户性别与商品偏好是否相 ...
2026-01-09数据库中的历史数据,是企业运营过程中沉淀的核心资产——包含用户行为轨迹、业务交易记录、产品迭代日志、市场活动效果等多维度 ...
2026-01-08在电商行业竞争日趋激烈的当下,数据已成为驱动业务增长的核心引擎。电商公司的数据分析师,不仅是数据的“解读官”,更是业务的 ...
2026-01-08在数据驱动决策的链路中,统计制图是CDA(Certified Data Analyst)数据分析师将抽象数据转化为直观洞察的关键载体。不同于普通 ...
2026-01-08在主成分分析(PCA)的学习与实践中,“主成分载荷矩阵”和“成分矩阵”是两个高频出现但极易混淆的核心概念。两者均是主成分分 ...
2026-01-07在教学管理、学生成绩分析场景中,成绩分布图是直观呈现成绩分布规律的核心工具——通过图表能快速看出成绩集中区间、高分/低分 ...
2026-01-07在数据分析师的工作闭环中,数据探索与统计分析是连接原始数据与业务洞察的关键环节。CDA(Certified Data Analyst)作为具备专 ...
2026-01-07在数据处理与可视化场景中,将Python分析后的结果导出为Excel文件是高频需求。而通过设置单元格颜色,能让Excel中的数据更具层次 ...
2026-01-06在企业运营、业务监控、数据分析等场景中,指标波动是常态——无论是日营收的突然下滑、用户活跃度的骤升,还是产品故障率的异常 ...
2026-01-06