大数据技术在环境信息中的应用

　　近年来, 随着全球环境气候的日益严峻,水污染事件的频发, 世界各国不断加大对环境保护的力度, 迫切需要通过环境信息化手段和环境监测能力的提高来为政府相关部门在保护环境、规划社会发展等方面提供决策所需要的信息支持. 随着科学研究、通信技术、IT 技术的迅速发展, 尤其是遥感、GIS、传感网和射频技术等现代技术的更是得到迅猛发展, 全面拓展了环境监测的时空尺度, 导致环境监测数据的种类和数量呈现爆炸式增长, 而支撑政府相关决策科学性、准确性的基础依赖于对海量监测数据采集、传输和存储,以及对海量数据的快速处理分析.

　　1 大数据技术的研究

　　1.1 大数据的定义

　　2011 年5 月全球知名咨询公司麦肯锡发布报告《Big data:The next frontier for innovation, competitionand productivity》[1], 报告中阐述了大数据的潜在巨大价值以及大数据技术的重要性.目前, 对大数据还没有明确的定义, 但较为主流的认识是大数据应具有以下四个基本特征[2-4]: 数据规模大; 数据种类多; 数据要求处理速度快; 数据价值密度低, 但价值高.大数据本身是一种现象而不是一种技术, 但是伴随着数据的采集、传输、处理和分析的相关技术则是大数据处理技术, 亦称大数据技术.

　　1.2 大数据处理分析流程

　　整个大数据的处理流程[2]可以定义为: 在合适工具的辅助下, 对广泛异构的数据源进行抽取和集成,结果按照一定的标准进行统一存储, 根据处理的数据类型和分析目标, 采用合适的算法模型快速处理数据,并利用合适的数据分析技术对存储的数据进行分析,从中提取有益的知识并利用恰当的方式将结果展现给终端用户.

　　1.2.1 数据预处理.在进行存储和处理之前, 一般会采用ETL 技术将数据源中的数据进行抽取(Extract)后经过数据转换(Transform)加载(Load)到数据仓库或者数据中心.

　　1.2.2 存储管理.数据经过ETL 处理后存放在数据库或者利用谷歌文件系统和Hadoop 的分布式文件系统, 这类分布式存储系统采用了分布式架构, 既能达到较高的并发访问能力又具有较高的可扩展性、灵活性.

　　1.2.3 计算处理.对大数据进行处理需要消耗大量的计算机资源,这对机器的运算速度和成本都提出了更高的要求, 显然采用分布式并行处理技术是最佳选择, MapReduce框架可以用一系列廉价的机器构成, 在成本、可扩展性和处理速度上有着巨大的优势.

　　1.2.4 数据分析.数据分析是指从大量数据中发现规律提取新知识,它是大数据处理流程的核心, 是大数据的价值体现.在计算处理后, 对传统数据挖掘算法改进优化, 建立数学模型, 进行数据分析.

　　1.2.5 数据展现.以更直观和互动的方式展示分析结果, 便于人们理解. 大数据分析系统应该提供数据分析、查询机制等一系列功能, 并以可视化的方式呈现给最终用户.可视化技术可采用与Web 技术相结合, 以图表或图像的形式呈现.