
物联网数据分析何时迎娶超级计算机?
物联网的设备和传感器会产生许多数据,分析这些数据获取可行性见解将会有远大的发展前景。
在许多企业满足于使用小额的投资,慢条斯理地进行数据分析的同时,那些需要进行及时和复杂的数据分析的企业正从超级计算机工业的快速成长和进步中获益。
来自于Cray公司高级副总裁兼首席策略官Barry Bolding的建议:当数据分析的时效性是关键因素时,企业应该考虑选择超级计算资源方案来进行数据分析。
Bolding 说:“假设你要将物联网的数据快速输入模拟器或者数据模型,及时得到输出数据时,在这种应用场景下,使用Cray资源(超级计算资源)而不是云资源可以非常有效的消除系统的瓶颈。”
这是一个重要的区别,因为许多企业的首选是云计算解决方案,即便数据分析速度的对于他们来说比较重要,他们认为有着更快的时效性的超级计算意味着更高的成本。
然而,据IDC公司分析师Steve Conway分析,企业之所以做出这样的判断,是因为他们没有充分认识到高性能的计算资源给他们带来的成本收益的权衡。Conway认为:”即便在大公司,他们对于超级计算机的观念已经过时了。”
当然这并不是说每个企业都要用超级计算机来进行物联网的数据分析。最终,需要极快地分析数据的企业将会选择超级计算机,与此同时,那些对物联网数据分析的时效性要求不高的企业可以放心地选择基于云计算的方案。
Cray成立于1972年,是世界上历史悠久,规模最大的超级计算机提供商之一,它占有31%的市场份额,世界上10台最强的超级计算机有5台是它制造的。
这些年Cray公司和超级计算机市场总体发展艰难,受到了高性能、低成本的小型计算机的冲击。但是最近这个形势发生了变化。“市场开始分裂了,而且持续进行分裂,这因为更多的企业购买超级计算机,而不是只有政府部门。”Conway说。
他表示,曾经动辄数百万美金,只有少数的政府机构使用的超级计算机,现在80%的超级计算机成本已经低于100,000美元。
这使得许多的企业能够购买得起这些超级计算机。尽管从成本经济的角度考虑,不同的用户使用场景对超级计算机的青睐程度有着巨大的不同。
物 联网就是一个非常合适使用超级计算机的用户场景。因为它会产生大量的数据。但是不同的企业对物联网有着不同的使用方式,这个使得我们很难划定一个清晰的界 限决定什么时候应该使用超级计算资源。在大多数的情况下,一些公司可以接受等待一段较长时间的数据分析报告,然而对于其他的公司来说,数据分析的时效性是 日常工作中至关重要的部分。
例如连网汽车,它依靠大量的交通数据来回传递来进行操作。超级计算机将从每个连网的汽车获取交通数据,经过实时交通数据管理平台分析上传来的数据,然后回传路线信息给相应的汽车。
如果分析不是实时进行,回传给汽车的线路信息总是慢于移动中的汽车,那么这些信息对于行进中的汽车是毫无用处的。所以Conway认为这就是为什么交通数据分析是典型的使用超级计算机的用户场景,因为它完全依赖于实时的数据分析洞察。
对于时效性的要求是确定某一个用户场景是否需要超级计算机的决定因素。Bolding总结了三个标准来说明什么情况下需要超级计算机。
Bolding 认为从长期的使用的角度来看,一次性投资超级计算机的解决方案和每个月须付高额的服务费的云方案相比较,超级计算机的成本更便宜。
这是基于Cray公司内部成本预测模型进行的分析,还未公布于众,对其正确性持有保留的观点。但是Conway认同还是有些用户场景选择采用超级计算机,可以取得成本效益率的最大化。
有大量的用户场景是不符合Bolding使用超级计算机的标准,例如商店用来追踪用户进进出出的传感数据就不需要超级计算机。Bolding在一定程度上也认同这样的情形。
Bolding说: “对于很多的物联网应用来说,分析速度并不是关键, 所以我们对中小企业的用户还没进行推广使用超级计算机”
但是有趣的是有些公司尽管切合Bolding使用超级计算机的标准,他们仍然没有选择使用超级计算机。
例 如,虽然GE公司在它的科研中有使用超级计算资源,但是GE公司的一定数量的应用仍是依赖于基于云的Predix engine分析其物联网感应器产生的数据。GE公司很多部门每天都在使用Predix来进行数据分析。他们并没有感受到更快处理速度的超级计算机因高投 资带来的高效益。
“依我们观察,大部分的用户场景并不需要额外的计算能力”, GE运输软件首席技术官Wesley Mukai说,”目前我们还没有看到需要更多计算能力的应用。”
Mukai说依赖于云会给开发带来了一定的困难,程序员需要修复当某个组件宕机的情况,但是成本经济学要求他们只能采用云解决方案。
Conway认为实际情况也许不是这样的,他认为真正的原因是缺乏对当今超级计算机能力和成本有个清晰的认识。 Conway说: “在那些已经开始使用超级计算机的公司中,有很大一部分的公司之前就有使用超级计算资源。”
然而,Conway又说了:”你不必过度采购, 即便人们不使用超级计算机来处理大量的数据,事情还是照样的做。”
事实上,云解决方案很适合大数据的使用场景,Conway以诺华制药公司为例解释,这家公司就使用Amazon Web Services在4个小时的时间内分析2千1百万个分子。
Conway 认为这不是物联网的使用场景, 但是这是一个很好的运用云计算解决方案的例子。因为每个测试分子任务都有自己独立的进程,即便一个组件宕机了,整个分析任务不需要重现启动。而且诺华公司 只需要支付一定金额大概20,000美元就可以完成这些测试,如果可以耐心等待更长的时间输出分析结果,他们将付的更少。
关键的因素是分析速度。云可以处理大量数据,在一定程度上也可以处理复杂问题,但是如果分析速度是关键因素,公司期望在几分钟或者几秒钟而不是4个小时或者1个小时内获取答案,那么我们就需要超级计算机的解决方案。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
破解游戏用户流失困局:从数据洞察到留存策略 在游戏行业竞争白热化的当下,用户流失率已成为衡量产品健康度的核心指标。一款游 ...
2025-08-11PyTorch 中 Shuffle 机制:数据打乱的艺术与实践 在深度学习模型训练过程中,数据的呈现顺序往往对模型性能有着微妙却关键的影响 ...
2025-08-11数据时代的黄金入场券:CDA 认证解锁职业新蓝海 一、万亿级市场需求下的数据分析人才缺口 在数字化转型浪潮中,数据已成为企业核 ...
2025-08-11DBeaver 实战:实现两个库表结构同步的高效路径 在数据库管理与开发工作中,保持不同环境(如开发库与生产库、主库与从库)的表 ...
2025-08-08t 检验与卡方检验:数据分析中的两大统计利器 在数据分析领域,统计检验是验证假设、挖掘数据规律的重要手段。其中,t 检验和卡 ...
2025-08-08CDA 数据分析师:解锁数据价值的专业力量 在当今这个数据爆炸的时代,数据已成为像石油一样珍贵的战略资源。而 CDA 数据分析师, ...
2025-08-08人工智能对CDA数据分析领域的影响 人工智能对 CDA(Certified Data Analyst,注册数据分析师)数据分析领域的影响是全方位、多层 ...
2025-08-07SPSS 语法使用详解 在当今数据驱动的时代,SPSS( Statistical Package for the Social Sciences)作为一款功能强大的统计分析软 ...
2025-08-07SASEM 决策树:理论与实践应用 在复杂的决策场景中,如何从海量数据中提取有效信息并制定科学决策,是各界关注的焦点。SASEM 决 ...
2025-08-07CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-07大数据时代对定性分析的影响 在大数据时代,海量、多样、高速且低价值密度的数据充斥着我们的生活与工作。而定性分析作为一 ...
2025-08-07K-S 曲线、回归与分类:数据分析中的重要工具 在数据分析与机器学习领域,K-S 曲线、回归和分类是三个核心概念与工具,它们各 ...
2025-08-07CDA 数据分析师考试全解析 在当今数字化时代,数据已成为企业发展的核心驱动力,数据分析师这一职业也愈发受到重视。CDA 数据分 ...
2025-08-07大数据时代的隐患:繁荣背后的隐忧 当我们在电商平台浏览商品时,系统总能 “精准” 推送心仪的物品;当我们刷短视频时,算法 ...
2025-08-07解析 F 边界检验:协整分析中的实用工具 在计量经济学的时间序列分析中,判断变量之间是否存在长期稳定的均衡关系(即协整关系) ...
2025-08-07CDA 数据分析师报考条件详解:迈向专业认证的指南 在数据分析行业蓬勃发展的当下,CDA 数据分析师认证成为众多从业者提升专业 ...
2025-08-07通过 COX 回归模型诊断异常值 一、COX 回归模型概述 COX 回归模型,又称比例风险回归模型,是一种用于生存分析的统计方法。它能 ...
2025-08-07评判两组数据与初始数据准确值的方法 在数据分析与研究中,我们常常会面临这样的情况:需要对通过不同方法、不同过程得到的两组 ...
2025-08-07CDA 数据分析师行业标准:构建数据人才的能力坐标系 在数据驱动决策成为企业核心竞争力的时代,CDA(数据分析师)行业标准作为 ...
2025-08-07反向传播神经网络:突破传统算法瓶颈的革命性力量 在人工智能发展的历史长河中,传统算法曾长期主导着数据处理与模式识别领域 ...
2025-08-07