
聊一聊数据存储的七个技巧
如今,更为经济的闪存存储器在可预见的未来有望打破存储设备在应用性能上的瓶颈。为了充分利用闪存,人们需要以正确的方式和正确的技术来实现它。这样,就可以从整体的固态存储部署和存储网络中提取最高性能和更高的效率。
例如,对于活动数据,闪存可以提供更好的性能,移动部件比硬盘驱动器少。其结果是,对于主要的数据用例,特别是在长期使用情况下,部署闪存通常比硬盘更便宜。固态存储器的问题是只有大约5%到10%的数据中心数据是活动的。
因此,用户可以节省一些费用,并将剩余的90%或更多存储在容量更大,成本更低的硬盘上,或者越来越多地存储在云中。闪存不一定会单独提高数据存储效率和性能。用户需要从一个坚实的基础开始,以下就是提高数据存储效率的七个提示,可以让存储更快,更有效。
(1)改善存储网络
基于硬盘的系统的延迟不会暴露网络的弱点,虽然确实如此,但基于闪存的系统就是这样,在升级到闪存存储器或向现有系统添加其他SSD硬盘之前,应首先最大限度地提高存储网络的性能。
要考虑的网络有三个组件:
服务器
存储系统中的主机总线适配器(HBA)或网络接口卡(NIC)
网络交换机和布线基础设施
很容易看到前两个组件(NIC/HBA和交换机)的带宽能力,这应该至少部署10Gbps或16Gbps光纤通道(FC)或更快的通道。虽然带宽很重要,但延迟和交付质量更是如此。大多数数据中心不会生成足够的连续事务来淹没高速网络。
相反,他们产生了数以百万计小生意。网络将这些事务从服务器转移到存储器,并再次返回,这对于在闪存投资中提取最大性能至关重要。
(2)数据存储效率与性能
在存储领域中,效率和性能是截然相反的力量,因为效率通常以牺牲性能为代价来增加价值。
人们用于提高数据存储效率的许多技术(例如精简配置,重复数据删除和压缩)实际上损害了存储系统性能。闪存存储在效率和性能之间创造了一个中间地带。是的,使用这些技术对闪存的损害性能,就像他们对硬盘驱动器一样。但是由于闪存性能如此之高,它通常会提供过多的性能周期。
因此,从用户的角度来看,运行通常的数据存储效率程序不会显著影响性能。
一旦用户对存储网络进行了微调,就应该考虑使用闪存存储部署。
(3)实现服务器端闪存
在服务器端的闪存设计中,连接到该网络的网络和存储设置保持不变,基本上安装了基于硬盘驱动器的存储阵列,其中存储网络的速度和质量并没有实现共享闪存阵列时那么重要。
相比之下,服务器端闪存技术将来自多个服务器的内部闪存存储器聚合以创建虚拟闪存池。
这些服务器端的闪存聚合产品适用于读取和写入缓存,甚至适用于存储层。然而,它们在性能方面引入了网络因素,因为聚合需要网络来创建虚拟存储池。
(4)部署网络缓存
与存储系统升级(仅提高单个系统的性能)不同,网络缓存可提高网络上每个存储系统的性能。这些设备基本上位于存储系统和服务器之间,缓存那些最活跃的数据。
许多网络缓存在高可用性配置中可用,使其适合缓存读取和写入I/O.用户还可以调整网络缓存的大小,使闪存存储区域大到足以存储组织的整个活动数据集,从本质上将现有阵列转换为存档和数据保护存储系统。
(5)使用小型闪存阵列实施软件定义存储(SDS)
提高存储性能和数据存储效率的另一个选择是使用软件定义存储(SDS)。
这些产品在设备或管理程序上运行,并在各种硬件阵列上提供一组通用的存储软件功能。
一些软件定义存储(SDS)系统可以利用现有的存储硬件,以及在它们之间提供数据的自动迁移。如果向现有基础架构添加小型闪存阵列,则可以使用SDS自动将最活跃的数据集移动到阵列以提高性能,并且作为额外的好处简化管理,因为所有存储管理随后变得统一。
(6)优化应用程序
在实施新的或增强现有存储系统之前,请仔细检查要运行的应用程序。许多存储专业人员发现这会令人生畏,因为他们既不拥有应用程序也不理解其周围的代码。
好消息是,具有一些可用的程序可以检查应用程序代码,提供高质量的分析,并提出改变什么和在哪里的具体建议。虽然它可以跳过这一步,但会引出更多的硬件问题。
代码相关的性能问题可能被高性能存储屏蔽,但它不会允许闪存充分发挥其全部潜能,这从而迫使管理员需要寻找其他潜在的性能损失,如存储网络。在实现闪存修复代码之前,甚至可以避免首先需要闪存,或降低购买闪存的需要。
(7)购买新的全闪存或混合阵列
这对于部署现有基于硬盘的系统(仍具有使用寿命,在原始保修范围内)的数据中心而言是理想的,因此用户可以重新部署这些陈旧的机械硬盘系统,并使用新的闪存阵列进行扩展。但是,在某些时候,用户需要购买一些新的存储系统。这意味着在全闪存或混合阵列之间进行选择。
最初的决策相对简单:如果组织能够提供满足其容量要求的全闪存阵列(可以假设将满足性能要求),那么就实施采购,不要犹豫。
综上所述,提高存储性能的道路并非始于全闪存投资。它始于对整个存储网络的仔细检查。
一旦完成,还要考虑许多其他存储性能和数据存储效率增强选项,其中包括某些类型的闪存存储部署。哪些产品是选用于数据中心最好的工作方式,一些IT部门甚至可能甚至不需要升级他们的存储系统。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
解析 F 边界检验:协整分析中的实用工具 在计量经济学的时间序列分析中,判断变量之间是否存在长期稳定的均衡关系(即协整关系) ...
2025-08-05大数据时代的隐患:繁荣背后的隐忧 当我们在电商平台浏览商品时,系统总能 “精准” 推送心仪的物品;当我们刷短视频时,算法 ...
2025-08-05CDA 数据分析师考试全解析 在当今数字化时代,数据已成为企业发展的核心驱动力,数据分析师这一职业也愈发受到重视。CDA 数据分 ...
2025-08-05CDA认证在国际市场上的认可度正在逐渐增长。CDA(Certified Data Analyst)认证,源自中国,面向全球,旨在提升数字化人才的数据 ...
2025-08-04本次活动市场价2000元,现面向会员免费开放,会员朋友更可以邀请一位非会员免费参加。 【活动目标】 ...
2025-08-04MySQL 统计连续每天数据:从业务需求到技术实现 在数据分析场景中,连续日期的数据统计是衡量业务连续性的重要手段 —— 无论是 ...
2025-08-04反向传播神经网络:突破传统算法瓶颈的革命性力量 在人工智能发展的历史长河中,传统算法曾长期主导着数据处理与模式识别领域 ...
2025-08-04CDA 数据分析师行业标准:构建数据人才的能力坐标系 在数据驱动决策成为企业核心竞争力的时代,CDA(数据分析师)行业标准作为 ...
2025-08-04评判两组数据与初始数据准确值的方法 在数据分析与研究中,我们常常会面临这样的情况:需要对通过不同方法、不同过程得到的两组 ...
2025-08-01通过 COX 回归模型诊断异常值 一、COX 回归模型概述 COX 回归模型,又称比例风险回归模型,是一种用于生存分析的统计方法。它能 ...
2025-08-01CDA 数据分析师报考条件详解:迈向专业认证的指南 在数据分析行业蓬勃发展的当下,CDA 数据分析师认证成为众多从业者提升专业 ...
2025-08-01K-S 曲线、回归与分类:数据分析中的重要工具 在数据分析与机器学习领域,K-S 曲线、回归和分类是三个核心概念与工具,它们各 ...
2025-07-31大数据时代对定性分析的影响 在大数据时代,海量、多样、高速且低价值密度的数据充斥着我们的生活与工作。而定性分析作为一 ...
2025-07-31CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-07-31SASEM 决策树:理论与实践应用 在复杂的决策场景中,如何从海量数据中提取有效信息并制定科学决策,是各界关注的焦点。SASEM 决 ...
2025-07-30SPSS 语法使用详解 在当今数据驱动的时代,SPSS( Statistical Package for the Social Sciences)作为一款功能强大的统计分析软 ...
2025-07-30人工智能对CDA数据分析领域的影响 人工智能对 CDA(Certified Data Analyst,注册数据分析师)数据分析领域的影响是全方位、多层 ...
2025-07-30MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-29左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-29CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-29