聊一聊数据存储的七个技巧
如今,更为经济的闪存存储器在可预见的未来有望打破存储设备在应用性能上的瓶颈。为了充分利用闪存,人们需要以正确的方式和正确的技术来实现它。这样,就可以从整体的固态存储部署和存储网络中提取最高性能和更高的效率。
例如,对于活动数据,闪存可以提供更好的性能,移动部件比硬盘驱动器少。其结果是,对于主要的数据用例,特别是在长期使用情况下,部署闪存通常比硬盘更便宜。固态存储器的问题是只有大约5%到10%的数据中心数据是活动的。
因此,用户可以节省一些费用,并将剩余的90%或更多存储在容量更大,成本更低的硬盘上,或者越来越多地存储在云中。闪存不一定会单独提高数据存储效率和性能。用户需要从一个坚实的基础开始,以下就是提高数据存储效率的七个提示,可以让存储更快,更有效。
(1)改善存储网络
基于硬盘的系统的延迟不会暴露网络的弱点,虽然确实如此,但基于闪存的系统就是这样,在升级到闪存存储器或向现有系统添加其他SSD硬盘之前,应首先最大限度地提高存储网络的性能。
要考虑的网络有三个组件:
服务器
存储系统中的主机总线适配器(HBA)或网络接口卡(NIC)
网络交换机和布线基础设施
很容易看到前两个组件(NIC/HBA和交换机)的带宽能力,这应该至少部署10Gbps或16Gbps光纤通道(FC)或更快的通道。虽然带宽很重要,但延迟和交付质量更是如此。大多数数据中心不会生成足够的连续事务来淹没高速网络。
相反,他们产生了数以百万计小生意。网络将这些事务从服务器转移到存储器,并再次返回,这对于在闪存投资中提取最大性能至关重要。
(2)数据存储效率与性能
在存储领域中,效率和性能是截然相反的力量,因为效率通常以牺牲性能为代价来增加价值。
人们用于提高数据存储效率的许多技术(例如精简配置,重复数据删除和压缩)实际上损害了存储系统性能。闪存存储在效率和性能之间创造了一个中间地带。是的,使用这些技术对闪存的损害性能,就像他们对硬盘驱动器一样。但是由于闪存性能如此之高,它通常会提供过多的性能周期。
因此,从用户的角度来看,运行通常的数据存储效率程序不会显著影响性能。
一旦用户对存储网络进行了微调,就应该考虑使用闪存存储部署。
(3)实现服务器端闪存
在服务器端的闪存设计中,连接到该网络的网络和存储设置保持不变,基本上安装了基于硬盘驱动器的存储阵列,其中存储网络的速度和质量并没有实现共享闪存阵列时那么重要。
相比之下,服务器端闪存技术将来自多个服务器的内部闪存存储器聚合以创建虚拟闪存池。
这些服务器端的闪存聚合产品适用于读取和写入缓存,甚至适用于存储层。然而,它们在性能方面引入了网络因素,因为聚合需要网络来创建虚拟存储池。
(4)部署网络缓存
与存储系统升级(仅提高单个系统的性能)不同,网络缓存可提高网络上每个存储系统的性能。这些设备基本上位于存储系统和服务器之间,缓存那些最活跃的数据。
许多网络缓存在高可用性配置中可用,使其适合缓存读取和写入I/O.用户还可以调整网络缓存的大小,使闪存存储区域大到足以存储组织的整个活动数据集,从本质上将现有阵列转换为存档和数据保护存储系统。
(5)使用小型闪存阵列实施软件定义存储(SDS)
提高存储性能和数据存储效率的另一个选择是使用软件定义存储(SDS)。
这些产品在设备或管理程序上运行,并在各种硬件阵列上提供一组通用的存储软件功能。
一些软件定义存储(SDS)系统可以利用现有的存储硬件,以及在它们之间提供数据的自动迁移。如果向现有基础架构添加小型闪存阵列,则可以使用SDS自动将最活跃的数据集移动到阵列以提高性能,并且作为额外的好处简化管理,因为所有存储管理随后变得统一。
(6)优化应用程序
在实施新的或增强现有存储系统之前,请仔细检查要运行的应用程序。许多存储专业人员发现这会令人生畏,因为他们既不拥有应用程序也不理解其周围的代码。
好消息是,具有一些可用的程序可以检查应用程序代码,提供高质量的分析,并提出改变什么和在哪里的具体建议。虽然它可以跳过这一步,但会引出更多的硬件问题。
代码相关的性能问题可能被高性能存储屏蔽,但它不会允许闪存充分发挥其全部潜能,这从而迫使管理员需要寻找其他潜在的性能损失,如存储网络。在实现闪存修复代码之前,甚至可以避免首先需要闪存,或降低购买闪存的需要。
(7)购买新的全闪存或混合阵列
这对于部署现有基于硬盘的系统(仍具有使用寿命,在原始保修范围内)的数据中心而言是理想的,因此用户可以重新部署这些陈旧的机械硬盘系统,并使用新的闪存阵列进行扩展。但是,在某些时候,用户需要购买一些新的存储系统。这意味着在全闪存或混合阵列之间进行选择。
最初的决策相对简单:如果组织能够提供满足其容量要求的全闪存阵列(可以假设将满足性能要求),那么就实施采购,不要犹豫。
综上所述,提高存储性能的道路并非始于全闪存投资。它始于对整个存储网络的仔细检查。
一旦完成,还要考虑许多其他存储性能和数据存储效率增强选项,其中包括某些类型的闪存存储部署。哪些产品是选用于数据中心最好的工作方式,一些IT部门甚至可能甚至不需要升级他们的存储系统。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27