
大数据与大科学_数据分析师
最近去武汉参加第八届全国测试学术会议,包括硬件测试、软件测试,碰到许多老朋友和新朋友,大家议论了许多。我和大家交流了在CACM上看到的Big data meets big science,也颇有感触。
在斯坦福的国家加速器实验室,大气观测望远镜到2020年要安装一个32亿像素(3.2GP)的照相机,10年以后每晚每隔15秒摄取极高分辨率的天空图像。该系统需要存储10亿亿字节(100PB)的数据,相当于2000万个DVD。当然,通过这个照相机获得的原始数据比这还要多得多。这个照相机的视野里面有400亿~500亿天文目标。长久存储这些像素几乎是不可能的,只能实时处理和提取关键数据。大型科学仪器,从大型强子碰撞型加速装置到高级光束处理器和分子成像工具产生大量数据,是目前的并行超级计算机所无法处理的。
可目前看到的现实是:1.摩尔定律已经失效,因为晶体管尺寸已经达到物理极限。2.超级计算机已经不能再这样用CPU堆下去了。成千上万,甚至几十万的CPU、GPU堆起来的超级计算机,耗电惊人,而并行计算实际上很难实现。大部分时间,CPU闲着,而Memory忙得要命。3.冯诺伊曼计算机体系结构非改不可了。存储计算的方式已经不适用新情况。对于许多应用来说,实际的瓶颈不是处理时间,而是需要不断地存取存储器。
一个明显的事实是,虽然我国的天河超级计算机几次排名世界第一,但美国最近基本不参与这个排名的竞争,排第几也不关心了。
对于大数据的问题,怎么解决?科学家们主要采取三个途径:一个是从观测开始各环节设法减小数据集;一个是从私人企业学习基于云计算的经验;另一个是探索新技术,譬如量子计算。
量子计算对于破解密码、因子分解、量子物理模拟可能很有效,但是,对组合优化、航空调度、绝热算法是否有效,还很难说。所以,大科学产生大数据,大数据技术要靠大科学。物理学、光学、生物学、计算科学一起来,研究这些数据的收集、分发、存储、处理。不能单靠计算机。我曾撰文说:大数据技术靠计算机,大数据分析要靠各领域的专家,现在看来,大数据技术也要靠大科学的专家。
在这样一个创新的关键时刻,中国人应该有所作为。不要天天想着发 SCI、投CNS、提职称、发牢骚,想想这些大问题吧!但是,我跟与会的朋友们说,不管计算机怎么变,容错计算是一个永恒的主题,在量子计算中,人们也在密切关注容错计算。高端容错计算机的实用价值就更不用说了,大家都懂得。
我想补充几句话:微纳电子产业现在还很兴旺,市场仍然很大;超级计算机,特别是其应用还是要搞,从科学研究的角度讲要有些前瞻性
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28