京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据遇上大型机 结果会如何?
进入数据大爆炸时代,企业所面临的局面无疑更复杂了。看着日益累积的各种数据,相信有不少用户都有这样的感觉:明知面前是座金矿,却苦于没有合适的开采方法,只能任机会流逝。
当然,并不是所有用户都在坐等时机,也有不少在尝试的。比如有用户在用分布式平台进行数据的整合、存储、分析、应用,也有用户在用集中式平台进行相关的工作,同样还有用户从分布式平台转向集中式平台。
究竟谁好?各有各的道理,不妨看个具体的案例,从中或许能受到一些启发。
Banca Carige实践心得
Banca Carige Group (Banca Carige) 是意大利的一家银行,距今已经有500多年的历史。其雇佣约6000名员工,有650多个网点,服务120万客户,年营业总额超过8亿欧元。
随着银行业的主战场不断转向移动端,Banca Carige凭借500多年服务客户的经验,果断地提出了改进计划,即通过数据分析更好地了解客户行为,从而达到吸引新客户服务老客户的目的。
最终Banca Carige选择了IBM 大型机作为未来的业务承载平台。至于原因,就像Banca Carige 的ICT治理经理Daniele Cericola所讲,“在银行业中,可用性与安全性对于业务而言至关重要,而大型机的这些性能都经过了实践检验,这一事实使其自然而然成为了我们新计划的平台之选。”
从这个角度看,Banca Carige选择大型机更多还是从安全性、可用性方面出发的结果。由于其之前一直在使用大型机(多年来,Banca Carige一直在采用IBM DB2数据库的IBM CICS Transaction Server上运行包括账户、支付、贷款等在内的核心银行系统,而该数据库位于可运行IBM z/OS的两台IBM zEnterprise EC12 服务器上),给出这样的理由并不意外,那究竟大型机在数据分析方面的表现如何呢,是不是能满足Banca Carige的需求?
“满意。”Daniele Cericola表示,“通过整合,我们所有的分析都是针对大型机的数据仓库进行的,借此我们可获得单一事实来源,而且在为所有新需求开发分布式数据集市时能够避免多余的成本投入和复杂性。”
据悉,Banca Carige已经将原来运行在分布式环境的多个营销数据库和应用迁移至了大型机,并借助运行在Red Hat Enterprise Linux上的IBM Campaign软件开发了新的活动管理数据模型,同时将这些整合至大型机环境中,从而使 DB2 for z/OS 成为分析和大数据唯一的数据储存库。
简单来说,相当于用大型机构建了一个平台,现在这些数据统一在这个平台进行处理。很显然,这个过程所需要的采购成本、电力成本、人力成本在一定范围内并不会像分布式平台那样随着业务量的增加而增加。也就是说,使用大型机做大数据分析并不一定比使用分布式架构成本更高。
虽然短短几段话,但是透露的内容很多。比如鉴于大型机强大的整合能力,最终的TCO并不一定高;再比如支持Linux,使得其解决方案变得更加丰富……
就像Daniele Cericola 在采访中所讲,“在大型机的 Linux 环境中运行我们的移动银行服务,使我们在大型机发展方面又迈进了一步。我们的关键业务价值是,最重要的服务可通过一致稳定的具有高度安全性的平台进行统一管理,而且该平台要能提供一流的可扩展性与性能。”应该说这就是对大型机核心价值的准确概括。
其实类似这样的应用案例还有很多,比如花旗银行、乐购、珠海社保等。
与时俱进的大型机
当然,举了这么一个例子笔者想说的并不是一定要使用大型机进行数据分析,事实上,大型机肯定有其更擅长、更适用的领域。笔者想说的是,在分布式环境大张旗鼓的今天,其实用户还有另外的选择,而且这个选择本身也在发生着变化,这才是最重要的。
说起大型机本身,可能很多人的印象依旧停留在几年甚至十几年前,呆板、贵、封闭。事实上,大型机早已通过实际行动着力改变这一形象。
它不断开放自己,尽管不能说IBM一直在引领潮流,但至少也是在紧跟趋势,比如IBM是 最早的Linux支持者,IBM大型机也很早就支持了Linux,再比如随着OpenStack的兴起,IBM大型机也支持在OpenStack平台上对 其进行统一管理。另外还有很多开源软件,IBM大型机均可支持,包括Docker、Hadoop、Spark、MongoDB、MariaDB等。
它不断提升自己的性能,单台最高支持8000台虚拟机,提供无与伦比的扩展性;在动态多线程技术的帮助下,Linux和Java工作负载运行速度提升30%。论整合能力、性能、安全性、可靠性,绝对无人可及。
它不断以更低的成本来面对用户,当然这个成本不仅是采购成本,因为IT系统的采购成本只占总体拥有成本(TCO)的一小部分,还包括电力、运维、管理等成本,试想能容纳8000台虚拟机的大型机能整合多少台服务器?应该说这个数量是惊人的,由此带来的后期使用成本的节约也是巨大的。
凭借着与时俱进,市场给了大型机、给了IBM积极的反馈。根据IDC发布的2015年第 二季度服务器市场调研报告显示,该季度IBM z13大型机表现强劲,同比增幅近两位数。根据刚刚发布的2016年第一季度IBM财报显示,与去年同期相比,来自z Systems大型主机服务器产品的营收增长了16%(计入汇率变动影响后上涨了21%)。以MIPS(每秒百万指令数)计算的z Systems所交付的计算能力,上升了28%。
记者观察
好多人说大型机不行了,但我们看到的却是大型机的逆势增长,这说明什么?这表明集中式与 分布式之争从来就不是非此即彼的关系,用户关心的只是是否有更好解决问题的方案,这才是他们的根本出发点。因此,就厂商而言,要做的是不断完善方案,并让 用户认识到其中的价值;对于用户而言,则要对各方解决方案有个充分的比较。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27