京公网安备 11010802034615号
经营许可证编号:京B2-20210330
物联网数据分析何时迎娶超级计算机?
物联网的设备和传感器会产生许多数据,分析这些数据获取可行性见解将会有远大的发展前景。
在许多企业满足于使用小额的投资,慢条斯理地进行数据分析的同时,那些需要进行及时和复杂的数据分析的企业正从超级计算机工业的快速成长和进步中获益。
来自于Cray公司高级副总裁兼首席策略官Barry Bolding的建议:当数据分析的时效性是关键因素时,企业应该考虑选择超级计算资源方案来进行数据分析。
Bolding 说:“假设你要将物联网的数据快速输入模拟器或者数据模型,及时得到输出数据时,在这种应用场景下,使用Cray资源(超级计算资源)而不是云资源可以非常有效的消除系统的瓶颈。”
这是一个重要的区别,因为许多企业的首选是云计算解决方案,即便数据分析速度的对于他们来说比较重要,他们认为有着更快的时效性的超级计算意味着更高的成本。
然而,据IDC公司分析师Steve Conway分析,企业之所以做出这样的判断,是因为他们没有充分认识到高性能的计算资源给他们带来的成本收益的权衡。Conway认为:”即便在大公司,他们对于超级计算机的观念已经过时了。”
当然这并不是说每个企业都要用超级计算机来进行物联网的数据分析。最终,需要极快地分析数据的企业将会选择超级计算机,与此同时,那些对物联网数据分析的时效性要求不高的企业可以放心地选择基于云计算的方案。
Cray成立于1972年,是世界上历史悠久,规模最大的超级计算机提供商之一,它占有31%的市场份额,世界上10台最强的超级计算机有5台是它制造的。
这些年Cray公司和超级计算机市场总体发展艰难,受到了高性能、低成本的小型计算机的冲击。但是最近这个形势发生了变化。“市场开始分裂了,而且持续进行分裂,这因为更多的企业购买超级计算机,而不是只有政府部门。”Conway说。
他表示,曾经动辄数百万美金,只有少数的政府机构使用的超级计算机,现在80%的超级计算机成本已经低于100,000美元。
这使得许多的企业能够购买得起这些超级计算机。尽管从成本经济的角度考虑,不同的用户使用场景对超级计算机的青睐程度有着巨大的不同。
物 联网就是一个非常合适使用超级计算机的用户场景。因为它会产生大量的数据。但是不同的企业对物联网有着不同的使用方式,这个使得我们很难划定一个清晰的界 限决定什么时候应该使用超级计算资源。在大多数的情况下,一些公司可以接受等待一段较长时间的数据分析报告,然而对于其他的公司来说,数据分析的时效性是 日常工作中至关重要的部分。
例如连网汽车,它依靠大量的交通数据来回传递来进行操作。超级计算机将从每个连网的汽车获取交通数据,经过实时交通数据管理平台分析上传来的数据,然后回传路线信息给相应的汽车。
如果分析不是实时进行,回传给汽车的线路信息总是慢于移动中的汽车,那么这些信息对于行进中的汽车是毫无用处的。所以Conway认为这就是为什么交通数据分析是典型的使用超级计算机的用户场景,因为它完全依赖于实时的数据分析洞察。
对于时效性的要求是确定某一个用户场景是否需要超级计算机的决定因素。Bolding总结了三个标准来说明什么情况下需要超级计算机。
Bolding 认为从长期的使用的角度来看,一次性投资超级计算机的解决方案和每个月须付高额的服务费的云方案相比较,超级计算机的成本更便宜。
这是基于Cray公司内部成本预测模型进行的分析,还未公布于众,对其正确性持有保留的观点。但是Conway认同还是有些用户场景选择采用超级计算机,可以取得成本效益率的最大化。
有大量的用户场景是不符合Bolding使用超级计算机的标准,例如商店用来追踪用户进进出出的传感数据就不需要超级计算机。Bolding在一定程度上也认同这样的情形。
Bolding说: “对于很多的物联网应用来说,分析速度并不是关键, 所以我们对中小企业的用户还没进行推广使用超级计算机”
但是有趣的是有些公司尽管切合Bolding使用超级计算机的标准,他们仍然没有选择使用超级计算机。
例 如,虽然GE公司在它的科研中有使用超级计算资源,但是GE公司的一定数量的应用仍是依赖于基于云的Predix engine分析其物联网感应器产生的数据。GE公司很多部门每天都在使用Predix来进行数据分析。他们并没有感受到更快处理速度的超级计算机因高投 资带来的高效益。
“依我们观察,大部分的用户场景并不需要额外的计算能力”, GE运输软件首席技术官Wesley Mukai说,”目前我们还没有看到需要更多计算能力的应用。”
Mukai说依赖于云会给开发带来了一定的困难,程序员需要修复当某个组件宕机的情况,但是成本经济学要求他们只能采用云解决方案。
Conway认为实际情况也许不是这样的,他认为真正的原因是缺乏对当今超级计算机能力和成本有个清晰的认识。 Conway说: “在那些已经开始使用超级计算机的公司中,有很大一部分的公司之前就有使用超级计算资源。”
然而,Conway又说了:”你不必过度采购, 即便人们不使用超级计算机来处理大量的数据,事情还是照样的做。”
事实上,云解决方案很适合大数据的使用场景,Conway以诺华制药公司为例解释,这家公司就使用Amazon Web Services在4个小时的时间内分析2千1百万个分子。
Conway 认为这不是物联网的使用场景, 但是这是一个很好的运用云计算解决方案的例子。因为每个测试分子任务都有自己独立的进程,即便一个组件宕机了,整个分析任务不需要重现启动。而且诺华公司 只需要支付一定金额大概20,000美元就可以完成这些测试,如果可以耐心等待更长的时间输出分析结果,他们将付的更少。
关键的因素是分析速度。云可以处理大量数据,在一定程度上也可以处理复杂问题,但是如果分析速度是关键因素,公司期望在几分钟或者几秒钟而不是4个小时或者1个小时内获取答案,那么我们就需要超级计算机的解决方案。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】知识、设备、工程师、数字化、建模、算法、工业大数据、数据分析、控制算法、机器学习、深度学习、业务目标、工 ...
2026-08-05增长率是数据分析、业务报表、可视化看板中最核心的指标之一,常用于衡量营收、销量、用户量、流量等业务数据的涨跌幅度与发展趋 ...
2026-08-05小陈是某电商平台的数据分析师。老板交给他一个任务:“我们平台的注册用户已经突破1000万了,想了解一下用户的平均月消费金额。 ...
2026-08-05在机器学习建模、数据预处理、抽样划分、模型初始化训练的全流程中,随机种子是控制实验随机性、保证结果可复现、提升模型稳定性 ...
2026-08-04Python作为面向对象的主流编程语言,核心编程体系由变量、方法、类三大基础要素构成。三者层层递进、相互协作,支撑起所有基础代 ...
2026-08-04 很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问 ...
2026-08-04为什么学习数据分析? 当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运 ...
2026-08-03CDA等级认证证书有效期为三年,三年进行一次年审,主要考察CDA持证人的职业发展情况;学历、工作单位及职业变更情况;继续教育 ...
2026-08-03【核心关键词】金融、岗位、企业、算法、知识、专业、理论、课程、软件、数据分析、业务类型、应用场景、经营管理、大型企业、 ...
2026-08-03在日常数据分析、业务报表复盘、业绩预测工作中,平均增长率是衡量数据长期变化趋势的核心指标,广泛用于营收增长、用户增长、销 ...
2026-08-03很多人把统计学理解为“一堆公式和计算”,却忽略了它的本质——一门让数据“开口说话”的科学。真正的数据分析高手,不是会算平 ...
2026-08-03在数据指标体系搭建工作中,从业者常困惑于指标搭建的核心逻辑:究竟是依托一线零散数据自下而上汇总指标,还是基于战略目标自上 ...
2026-07-31在数据分析、问卷研究、实验复盘、业务建模的工作中,大多数人最关注的是“用什么统计方法”:是做T检验、方差分析、卡方检验, ...
2026-07-31 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-07-31在问卷调研的数据分析流程中,“先检验信效度,再开展进阶统计分析”是通用的规范逻辑。很多从业者会听到“问卷效度高,后续可以 ...
2026-07-30【核心关键词】大数据、统计学、专业、毕业生、论文、课程、计算机、建模、知识、数据分析、机器学习、数据科学、大数据技术、 ...
2026-07-30 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-07-30在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29