京公网安备 11010802034615号
经营许可证编号:京B2-20210330
聊一聊数据存储的七个技巧
如今,更为经济的闪存存储器在可预见的未来有望打破存储设备在应用性能上的瓶颈。为了充分利用闪存,人们需要以正确的方式和正确的技术来实现它。这样,就可以从整体的固态存储部署和存储网络中提取最高性能和更高的效率。
例如,对于活动数据,闪存可以提供更好的性能,移动部件比硬盘驱动器少。其结果是,对于主要的数据用例,特别是在长期使用情况下,部署闪存通常比硬盘更便宜。固态存储器的问题是只有大约5%到10%的数据中心数据是活动的。
因此,用户可以节省一些费用,并将剩余的90%或更多存储在容量更大,成本更低的硬盘上,或者越来越多地存储在云中。闪存不一定会单独提高数据存储效率和性能。用户需要从一个坚实的基础开始,以下就是提高数据存储效率的七个提示,可以让存储更快,更有效。
(1)改善存储网络
基于硬盘的系统的延迟不会暴露网络的弱点,虽然确实如此,但基于闪存的系统就是这样,在升级到闪存存储器或向现有系统添加其他SSD硬盘之前,应首先最大限度地提高存储网络的性能。
要考虑的网络有三个组件:
服务器
存储系统中的主机总线适配器(HBA)或网络接口卡(NIC)
网络交换机和布线基础设施
很容易看到前两个组件(NIC/HBA和交换机)的带宽能力,这应该至少部署10Gbps或16Gbps光纤通道(FC)或更快的通道。虽然带宽很重要,但延迟和交付质量更是如此。大多数数据中心不会生成足够的连续事务来淹没高速网络。
相反,他们产生了数以百万计小生意。网络将这些事务从服务器转移到存储器,并再次返回,这对于在闪存投资中提取最大性能至关重要。
(2)数据存储效率与性能
在存储领域中,效率和性能是截然相反的力量,因为效率通常以牺牲性能为代价来增加价值。
人们用于提高数据存储效率的许多技术(例如精简配置,重复数据删除和压缩)实际上损害了存储系统性能。闪存存储在效率和性能之间创造了一个中间地带。是的,使用这些技术对闪存的损害性能,就像他们对硬盘驱动器一样。但是由于闪存性能如此之高,它通常会提供过多的性能周期。
因此,从用户的角度来看,运行通常的数据存储效率程序不会显著影响性能。
一旦用户对存储网络进行了微调,就应该考虑使用闪存存储部署。
(3)实现服务器端闪存
在服务器端的闪存设计中,连接到该网络的网络和存储设置保持不变,基本上安装了基于硬盘驱动器的存储阵列,其中存储网络的速度和质量并没有实现共享闪存阵列时那么重要。
相比之下,服务器端闪存技术将来自多个服务器的内部闪存存储器聚合以创建虚拟闪存池。
这些服务器端的闪存聚合产品适用于读取和写入缓存,甚至适用于存储层。然而,它们在性能方面引入了网络因素,因为聚合需要网络来创建虚拟存储池。
(4)部署网络缓存
与存储系统升级(仅提高单个系统的性能)不同,网络缓存可提高网络上每个存储系统的性能。这些设备基本上位于存储系统和服务器之间,缓存那些最活跃的数据。
许多网络缓存在高可用性配置中可用,使其适合缓存读取和写入I/O.用户还可以调整网络缓存的大小,使闪存存储区域大到足以存储组织的整个活动数据集,从本质上将现有阵列转换为存档和数据保护存储系统。
(5)使用小型闪存阵列实施软件定义存储(SDS)
提高存储性能和数据存储效率的另一个选择是使用软件定义存储(SDS)。
这些产品在设备或管理程序上运行,并在各种硬件阵列上提供一组通用的存储软件功能。
一些软件定义存储(SDS)系统可以利用现有的存储硬件,以及在它们之间提供数据的自动迁移。如果向现有基础架构添加小型闪存阵列,则可以使用SDS自动将最活跃的数据集移动到阵列以提高性能,并且作为额外的好处简化管理,因为所有存储管理随后变得统一。
(6)优化应用程序
在实施新的或增强现有存储系统之前,请仔细检查要运行的应用程序。许多存储专业人员发现这会令人生畏,因为他们既不拥有应用程序也不理解其周围的代码。
好消息是,具有一些可用的程序可以检查应用程序代码,提供高质量的分析,并提出改变什么和在哪里的具体建议。虽然它可以跳过这一步,但会引出更多的硬件问题。
代码相关的性能问题可能被高性能存储屏蔽,但它不会允许闪存充分发挥其全部潜能,这从而迫使管理员需要寻找其他潜在的性能损失,如存储网络。在实现闪存修复代码之前,甚至可以避免首先需要闪存,或降低购买闪存的需要。
(7)购买新的全闪存或混合阵列
这对于部署现有基于硬盘的系统(仍具有使用寿命,在原始保修范围内)的数据中心而言是理想的,因此用户可以重新部署这些陈旧的机械硬盘系统,并使用新的闪存阵列进行扩展。但是,在某些时候,用户需要购买一些新的存储系统。这意味着在全闪存或混合阵列之间进行选择。
最初的决策相对简单:如果组织能够提供满足其容量要求的全闪存阵列(可以假设将满足性能要求),那么就实施采购,不要犹豫。
综上所述,提高存储性能的道路并非始于全闪存投资。它始于对整个存储网络的仔细检查。
一旦完成,还要考虑许多其他存储性能和数据存储效率增强选项,其中包括某些类型的闪存存储部署。哪些产品是选用于数据中心最好的工作方式,一些IT部门甚至可能甚至不需要升级他们的存储系统。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-06-04在问卷调查与社会科学数据分析中,卡方检验是最常用、最基础的非参数检验方法,广泛应用于市场调研、用户分析、行为统计、满意度 ...
2026-06-03【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-03 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-06-03逻辑回归是数据分析、机器学习、统计建模中应用最广泛的二分类预测模型,常用于风险判断、行为预测、归因分析等场景。在SPSS、Py ...
2026-06-02数字经济时代,市场竞争日趋同质化,用户消费需求愈发个性化、多元化,传统依托经验、粗放式、广撒网的营销模式弊端日益凸显。长 ...
2026-06-02 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-06-02在市场竞争日趋饱和、用户需求不断细分的当下,企业创业创新、产品迭代与市场拓展不再依赖经验决策,而是需要系统化、工具化的商 ...
2026-06-01【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、 ...
2026-06-01 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-06-01在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28