京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据战略需要数据中心基础架构作出的改变有哪些
为大数据选择新的硬件、存储和其它数据中心基础设施,这是IT专业人员们所面临的新挑战。推行大数据战略的压力往往来自高层,因为管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点:
一、围绕大数据选择存储
在成功的大数据策略下,企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量,让分散在各地的数据能组织成为具备一致和及时性的大数据资源。
大数据正在改变中央数据仓储和松耦合数据集市的决策基础,后者的存储库规模要小得多,既可以替代中央数据仓库,也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加,中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度,避免权力的分散。
二、支持大数据的硬件
大数据导致的存储需求量每年都将增长60%至80%.鉴于这种快速增长和当前的成本限制,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起,因为它们能够经济高效地扩展,降低总体拥有成本。同样,在提升性能方面,固态硬盘(SSD)和固态卡带都比传统磁盘做得更好。
三、大数据分析和报告能力
虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程,但大数据再次改变了分析规则。例如,和传统上对单个客户进行主要行为分析洞察相比,大数据战略能为每个客户创建一个迭代和洞察分析线程,让公司能跟踪客户并更好地维持与所有客户的长期关系。
典型的大数据分析从业人员被称为数据科学家,和常规的IT主管不同,他们更可能同时担任CMO。然而,IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。
四、利用SSD的存储分层策略
存储成本很高,而且越快的存储也就越昂贵。最重要的是,大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项,从昂贵的高性能固态存储到传统的串行SCSI(SAS)磁盘存储,这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位,而且不会引起存储成本失控。
SSD的用量应遵从“90-10”的存储分层规则:成本和速度的最佳组合比例是:使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。
五、企业中的Hadoop
Hadoop为数据密集型应用提供“紧贴着”MapReduce文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展,例如社交媒体数据。许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而,缺乏专业知识是一种挑战:精通这种发展中的 Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。
组织开发他们自己的数据管理工具时应该留意,如IBM、Oracle和EMC 的这些主要供应商,往往既提供专有产品用于访问Hadoop数据,也可进行定制开发,让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台,供应商也提供整合服务,使Hadoop更贴合现有IT资源来高效运作。
每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整,与时俱进。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17在Python数据清洗、文本校验、账号密码规则校验、脏数据过滤、字符串规整化处理中,正则表达式是最高效、最常用的文本匹配工具。 ...
2026-08-17 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-08-17手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13