
在寒冷的天气里 谈谈大数据如何提高天气预报的准确性
天气预报是大数据应用最早的领域之一, 古人们总结出的节气和天气谚语沿用了几个世纪。
如何预测天气
前650年左右巴比伦人使用云的样子来预测天气。中国人至少在前300年左右有进行天气预报的纪录。古时靠观察总结出天气现象和天气谚语来指导人们的生活,只是泛泛,却也足以。
17世纪开始科学家开始使用科学仪器(比如气压表)来测量天气状态,并使用这些数据来做天气预报。但很长时间里人们只能使用当地的气象数据来做天气预报,因为当时人们无法快速地将数据传递到远处。1837年电报被发明后人们才能够使用大面积的气象数据来做天气预报。
今天的天气预报主要是使用收集大量的数据(气温、湿度、风向和风速、气压等等),结合有关气象资料、地形和季节特点、经验等综合因素来研究确定未来的天气情况。由于大气过程的混乱以及今天科学并没有最终透彻地了解大气过程,因此天气预报总是有一定误差的。
目前,我国一般降水的预报准确率在80%左右,暴雨24小时预报的准确率大概是19%至20%,在相同算法下,美国的暴雨预报准确率是22%。
但是如果数据够多、建立的数学模型够精确,是可以接近自然的真实情况的。
气象数据量不断翻番
上世纪90年代及之前,中国气象资料大部分局限于地面及高空观测。当时,2000多个地面站以小时为单位收集气象信息;120多个高空站每天观测最多不超过4次。从数据量上看不算太多,即便考虑到卫星和雷达资料,其总体日增量也局限在GB量级。
现在,地面观测站大约有4万个,每10分钟观测一次,未来还将加密至分钟级;在空间密度上,至少增加20倍,频度将增加60倍,地面及高空观测信息总量增加了1200倍。
而这些只占整个气象数据的30%,雷达、卫星以及数值预报数据占到了70%。目前,气象部门需要永久保存的数据目前约有4PB~5PB,年增量约1PB。每年的气象数据已接近PB量级(1000GB=1TB,1000TB=1PB)。
这也正是大数据规律的体现,观测信息量越大,所蕴藏的真实信息越多,就更能做好预报。
气象服务盘活数据
海量气象数据怎么用?这是大数据时代亟待考虑的问题。就现有情况看,数据在气象预报、气候预测诊断方面运用得比较充分;而在气象服务领域,大量实况观测数据往往被搁置。
目前的实况数据气象服务主要基于单要素单一站点的形式。这意味着,人们收到的气象服务只是周边气象站点的天气情况,并且总有延迟。
为此,科研人员正在引进国际先进的空间数据融合数值模式方法,即将周边几个站点的数据以及其他传感器所获得的数据融合进模式中,反演出整个区域的天气情况。从试验结果看,运算速度达到分钟级,小区域可达到秒级。
“这些工作都是在大数据的基础上才能够进行,无论模式如何先进,没有海量的数据进入,都不能达到很好的效果。”中国气象局公共气象服务中心高级工程师唐千红说。
让科研人员欣喜的是,在大数据时代,数据并非单纯指人们在互联网上发布的信息。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、温度、湿度乃至空气中化学物质的变化。可以设想,这些信息都可以被气象部门所用。
EarthRisk是一家利用大数据对未来天气情况作出预报的技术公司,它采用的预测模型项源自加州大学斯克利普斯海洋研究所。
该模型不同于以往的数值预报模式,可基于 820 亿次计算以及 60 年的气象历史数据来识别天气模式,然后将这些模式与当前的气候条件进行比较,再运用预测性分析进行天气预测,其预测时间更长、预测准度更高,最长可提前 40 天生成冷热天气概率,而传统主观预测的模型一星期以上的准度就不行了。
大数据时代下的气象服务是什么样子?唐千红认为,在看得见的未来,融入了地理信息、社会经济数据的气象服务,能够让人们知道任意时间地点可能会发生什么,例如这阵风是否会吹翻门口的广告牌,前面一个高速路口是不是在下雨、会不会发生山洪。
天气预报的未来
毫无疑问,虽然现在吐槽再多,气象部门还是一直在努力完善工作的。建设更多的观测站,运用更加先进的计算设备、培养数据人才建立更完善的天气预报模型,同时也离不开经验丰富的预报人员,天气预报、乃至是灾难预报都能更加准确。
以后天气预报的趋势,是朝精细化,精准化发展。同时在这个过程中消耗的大量人力物力可以通过数据的共享和同其他行业的交叉应用来弥补,这方面,大数据的预测意义才越发显得重要。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10