京公网安备 11010802034615号
经营许可证编号:京B2-20210330
物联网数据分析何时迎娶超级计算机?
物联网的设备和传感器会产生许多数据,分析这些数据获取可行性见解将会有远大的发展前景。
在许多企业满足于使用小额的投资,慢条斯理地进行数据分析的同时,那些需要进行及时和复杂的数据分析的企业正从超级计算机工业的快速成长和进步中获益。
来自于Cray公司高级副总裁兼首席策略官Barry Bolding的建议:当数据分析的时效性是关键因素时,企业应该考虑选择超级计算资源方案来进行数据分析。
Bolding 说:“假设你要将物联网的数据快速输入模拟器或者数据模型,及时得到输出数据时,在这种应用场景下,使用Cray资源(超级计算资源)而不是云资源可以非常有效的消除系统的瓶颈。”
这是一个重要的区别,因为许多企业的首选是云计算解决方案,即便数据分析速度的对于他们来说比较重要,他们认为有着更快的时效性的超级计算意味着更高的成本。
然而,据IDC公司分析师Steve Conway分析,企业之所以做出这样的判断,是因为他们没有充分认识到高性能的计算资源给他们带来的成本收益的权衡。Conway认为:”即便在大公司,他们对于超级计算机的观念已经过时了。”
当然这并不是说每个企业都要用超级计算机来进行物联网的数据分析。最终,需要极快地分析数据的企业将会选择超级计算机,与此同时,那些对物联网数据分析的时效性要求不高的企业可以放心地选择基于云计算的方案。
Cray成立于1972年,是世界上历史悠久,规模最大的超级计算机提供商之一,它占有31%的市场份额,世界上10台最强的超级计算机有5台是它制造的。
这些年Cray公司和超级计算机市场总体发展艰难,受到了高性能、低成本的小型计算机的冲击。但是最近这个形势发生了变化。“市场开始分裂了,而且持续进行分裂,这因为更多的企业购买超级计算机,而不是只有政府部门。”Conway说。
他表示,曾经动辄数百万美金,只有少数的政府机构使用的超级计算机,现在80%的超级计算机成本已经低于100,000美元。
这使得许多的企业能够购买得起这些超级计算机。尽管从成本经济的角度考虑,不同的用户使用场景对超级计算机的青睐程度有着巨大的不同。
物 联网就是一个非常合适使用超级计算机的用户场景。因为它会产生大量的数据。但是不同的企业对物联网有着不同的使用方式,这个使得我们很难划定一个清晰的界 限决定什么时候应该使用超级计算资源。在大多数的情况下,一些公司可以接受等待一段较长时间的数据分析报告,然而对于其他的公司来说,数据分析的时效性是 日常工作中至关重要的部分。
例如连网汽车,它依靠大量的交通数据来回传递来进行操作。超级计算机将从每个连网的汽车获取交通数据,经过实时交通数据管理平台分析上传来的数据,然后回传路线信息给相应的汽车。
如果分析不是实时进行,回传给汽车的线路信息总是慢于移动中的汽车,那么这些信息对于行进中的汽车是毫无用处的。所以Conway认为这就是为什么交通数据分析是典型的使用超级计算机的用户场景,因为它完全依赖于实时的数据分析洞察。
对于时效性的要求是确定某一个用户场景是否需要超级计算机的决定因素。Bolding总结了三个标准来说明什么情况下需要超级计算机。
Bolding 认为从长期的使用的角度来看,一次性投资超级计算机的解决方案和每个月须付高额的服务费的云方案相比较,超级计算机的成本更便宜。
这是基于Cray公司内部成本预测模型进行的分析,还未公布于众,对其正确性持有保留的观点。但是Conway认同还是有些用户场景选择采用超级计算机,可以取得成本效益率的最大化。
有大量的用户场景是不符合Bolding使用超级计算机的标准,例如商店用来追踪用户进进出出的传感数据就不需要超级计算机。Bolding在一定程度上也认同这样的情形。
Bolding说: “对于很多的物联网应用来说,分析速度并不是关键, 所以我们对中小企业的用户还没进行推广使用超级计算机”
但是有趣的是有些公司尽管切合Bolding使用超级计算机的标准,他们仍然没有选择使用超级计算机。
例 如,虽然GE公司在它的科研中有使用超级计算资源,但是GE公司的一定数量的应用仍是依赖于基于云的Predix engine分析其物联网感应器产生的数据。GE公司很多部门每天都在使用Predix来进行数据分析。他们并没有感受到更快处理速度的超级计算机因高投 资带来的高效益。
“依我们观察,大部分的用户场景并不需要额外的计算能力”, GE运输软件首席技术官Wesley Mukai说,”目前我们还没有看到需要更多计算能力的应用。”
Mukai说依赖于云会给开发带来了一定的困难,程序员需要修复当某个组件宕机的情况,但是成本经济学要求他们只能采用云解决方案。
Conway认为实际情况也许不是这样的,他认为真正的原因是缺乏对当今超级计算机能力和成本有个清晰的认识。 Conway说: “在那些已经开始使用超级计算机的公司中,有很大一部分的公司之前就有使用超级计算资源。”
然而,Conway又说了:”你不必过度采购, 即便人们不使用超级计算机来处理大量的数据,事情还是照样的做。”
事实上,云解决方案很适合大数据的使用场景,Conway以诺华制药公司为例解释,这家公司就使用Amazon Web Services在4个小时的时间内分析2千1百万个分子。
Conway 认为这不是物联网的使用场景, 但是这是一个很好的运用云计算解决方案的例子。因为每个测试分子任务都有自己独立的进程,即便一个组件宕机了,整个分析任务不需要重现启动。而且诺华公司 只需要支付一定金额大概20,000美元就可以完成这些测试,如果可以耐心等待更长的时间输出分析结果,他们将付的更少。
关键的因素是分析速度。云可以处理大量数据,在一定程度上也可以处理复杂问题,但是如果分析速度是关键因素,公司期望在几分钟或者几秒钟而不是4个小时或者1个小时内获取答案,那么我们就需要超级计算机的解决方案。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23