大数据系列之大数据分析如何权衡存储

在之前，我们已就大数据分析的发展趋势以及对IT资源的需求进行了解析。接下来，数据分析师针对大数据分析的重要一环—存储，中桥将结合市场热门的存储技术如闪存、固态盘等，来从存储性能、数据保护等角度进行分析。

通过前文的相关数据分析，我们已经了解到，随着大数据时代应用数量、应用数据量和使用者数量的增长，系统对存储IOPS以及OLTP和OLAP的要求越来越高。传统存储也越来越无法满足业务关键应用的性能需求，这驱动了中国企业未来24个月新存储的部署。而固态盘、闪存技术作为新型存储，已经得到越来越多的企业的青睐。中桥的调查数据也验证了这一点。企业采用固态盘或闪存技术的主要原因排列如下：提高桌面虚拟化的性能、提高OLAP性能需求、满足业务关键应用性能和低延迟要求、提高虚机密度应用性能等。而桌面虚拟化、OLAP高要求、业务关键应用、低延迟以及高虚拟机密度也正是大数据时代的典型特点。

▲图1. 选择固态盘或闪存技术的主要原因

那么对于中国企业而言，所选择的新型存储技术应该以什么样的指标来权衡，才能确保整个大数据分析流程平稳、高效运行?中桥对企业的调查结果显示(图2)，存储高可扩展性、高可用性和并行处理能力是企业评估大数据存储最重要的三个因素。高可扩展性可以确保企业的IT能够随着数据量的增长和性能需求进行扩展，以满足数据分析师对海量数据的存储和处理需求;高可用性则能够保证大数据分析过程的平稳、无间断运行，确保了业务连续性;高并行处理能力则能够确保在大数据处理过程中同时进行更多数据的处理，高效地完成数据分析，从而将分析结果转化为业务决策，加快产品或技术的面市周期。此外，低延迟、自动分层存储以及10GbE支持等也是用户评估大数据存储的重要考核因素。

▲图2 . 评估数据分析存储技术的重要指标

我们再换一个角度来继续解读一下存储。众所周知，不同类型的数据，其生命周期也是不同的，而根据数据类型和生命周期来进行存储资源分配，则能够有效提高存储利用率，这对于大数据的存储开支非常关键。此外，数据的有效管理也决定着生产应用的性能。中桥调查结果显示(图3)，大量中国用户所采用的数据库面临着性能压力(84.4%)，且没能有效地进行数据的归档和清理，其中，24.6%的受访企业甚至不进行数据归档和清理，还有高达34.9%的受访企业采取手动方式来进行数据归档和清理。将非活跃数据从主存储资源上清理出来，并根据数据类型和生命周期进行分层存储和归档，尽可能提高存储利用率的同时，还能够确保生产应用性能的稳定性，为数据分析提供所需的性能，有效降低主存储开支，延缓存储采购周期。

▲图3. 数据的归档和清理

在大数据时代，海量数据给企业带来的不仅仅是系统性能和存储难题，数据保护也是企业的一大焦点。调研结果显示(图4)，用户就面临的数据保护挑战排列如下：“数据备份影响业务性能”(25.1%)、“数据保护网络带宽需求大”(20.7%)、“分级存储读写性能不能满足要求”(19.3%)。这表明，在大数据时代，海量数据的备份和保护以及分级存储，将对业务性能带来很大影响，包括对网络带宽的影响。这也从侧面再一次表明数据的分级存储对企业的重要性。

▲图4大数据数据保护的最大挑战

数据是大数据时代通过IT创造价值的“种子”。数据分析师在大数据分析的四个重要环节中——数据采集和存储、数据清理和整合、数据分析、分析呈现——满足大数据演进过程中对容量、性能和业务连续性的需求，提升资源利用率降低存储开支，不仅能保护好大数据这个“种子”，也是选择大数据存储的重要考虑因素。