大数据时代的高性能数据分析

越来越多的企业开始“觊觎”大数据中所蕴含的价值，这一情况使得诸多的新兴技术得以普及，例如Hadoop。同样也使得越来越多的IT供应商将大数据分析作为企业新的营收增长点，如英特尔抛出了针对X86进行优化的Hadoop发行版，SAP亦推出了软硬一体的HANA，Oracle的一体机等等。同样，传统的商业智能(BI，Business Intelligence)解决方案供应商亦不够落后，如赛仕(SAS)公司在前不久的大数据论坛上展示了其最新的高性能数据分析方案(简称HPA)。

赛仕(SAS)公司成立于1976年，一直致力于为用户提供优秀的软件，目前SAS公司已是全球领先的商业分析软件和服务供应商，同时也是商业智能市场最大的独立厂商之一。其所提供的商业智能解决方案和数据分析软件广泛地用于银行、航空航天、通信、教育、医疗、金融、政府、生命科学、制造及零售等诸多行业。

　　SAS的大数据分析利器：高性能数据分析

在海量数据背景下，传统数据分析解决方案之所以遭遇瓶颈，主要原因是无法提高数据分析的效率。赛仕软件研究开发(北京)有限公司总经理刘政认为：“我们平常分析上千万的数据量或者上亿数据量的时候，都会花费几十个小时(好几天)的时间才能得到结果。当你的数据达到十亿的时候，你的软件就根本运行不下去，有的时候会好几十天，这个速度人们是无法接受的。所以，在新的时代，我们需要高性能的分析软件。”

传统的数据分析方法主要是针对结构化数据，而现代企业中非结构化数据与半结构化数据的增长速度是结构化数据的几倍甚至几十倍，这是导致传统数据分析方法无法适应企业需求的最根本的一个原因。并且，传统数据分析方式所适用的环境其数据量通常是TB级以下，采用集中式对数据进行批处理，而现在企业迫于市场的不断变化，通常希望能够实时得到数据分析结果。提高数据分析效率，快速得到数据分析结果是海量数据背景下，数据分析解决方案所必须具备的特性。

在本次的大数据论坛上，SAS公司展示了其最新的针对海量数据分析的高性能数据分析解决方案。据SAS公司大中华区咨询与技术总监姚远先生介绍，SAS公司目前正准备在中国大陆进行路演的高性能分析解决方案采用了与传统数据分析方案完全不同的软件架构，如网格计算、库内分析以及内存分析等，可以极大地提高海量数据背景下的数据分析效率。

网格计算相信大家已经无比熟悉了，现在越来越多的公司已经开始使用这一技术。库内分析则是SAS高性能分析软件上的一大亮点，传统的数据分析是将分析与数据库相分离，每次分析就需要到数据库提取数据，数据传输是制约效率的一大难题。而在SAS最新的高性能分析方案中其“把分析的过程放在数据库内，这样就无需数据提出来，避免了传输过程，这样运算起来速度明显地加快。过去所写的SAS程序完全可以在这种模型下运行，不需要做任何的更改。”

内存分析，亦称内存计算，这也是当前较为热门的技术话题之一。“把一些数据和分析的方法放到内存中，通过内存去读取(数据)，速度远远高于从硬盘中读取(数据)，这样可以极大地提高处理速度。”并且，随着PCIe SSD以及英特尔E5处理器的发布，将这一技术与网格计算相结合，其处理速度大幅提升是必然的。

除此之外，SAS公司最新推出的高性能分析解决方案还采用了“SAS Visual Analytics”技术，即可视化分析。可将分析结果发送到智能移动终端上，以供企业用户实时查看数据分析结果。

　　“大数据必将赶超云计算”

云计算与大数据是当前IT行业最为热门的两个话题，并且这二者之间有着千丝万缕的联系，通常说到云计算就不可不提大数据，而说到大数据通常也会牵扯到云计算。姚远认为，尽管现在云计算这一话题非常火热，但企业的大数据部署必然会超过云计算。因为云计算只是一个平台，而大数据分析则更贴近用户，对用户而言更实用。

　　“大数据是企业的战略技术”

姚远认为，在未来，大数据将上升到一个新的高度，将成为企业不可或缺的一个战略。他提到在之前有一段时间，很多用户都比较关注数据挖掘，但这个一直没有做起来。因为数据挖掘，数据分析是有先决条件的：企业要有一定的成熟度，要有一定的数据量，数据的准确性要有，企业领导有一定的关注度;第二个，要有数据科学家，就是分析人员要有一定的知识;第三个，部署一个可扩展的平台。这些都是数据挖掘成功的关键点，没有这些你不能成功。挖掘出来的数据，要有可信性，有价值，才算成功。

而数据科学家就是指专业的技术人才。例如，国内某世界500强公司把IT数据分析的人员，全部归到业务部门，因为分析人员不光要懂技术，还应该懂业务。分析理论最难的部分，是中间变量，它需要凭分析人员的经验，决定如何去取数，就是说取样本。不同的人取的数据样本不一样，结果就出来不一样了，只有分析人员非常有经验才能成功。

IT人员不懂业务，就不能做分析。而数据的可视化分析、数据的可探索性，对业务分析人员非常重要。“只要企业拥有数据，就可以让分析人员去进行挖掘分析，带来经济价值。这也是SAS推VA(可视化分析)的原因，可让业务人员享受大数据带来的好处。由此看来，大数据包括前台和后台的各种技术，不单指一个技术，大数据将是企业的战略技术。”姚远在谈到大数据分析在未来的作用时如是说。

　　“软件是方法论”

尽管现在很多IT供应商都加入到大数据分析这一热门话题之中，其中包括有IBM、EMC等老牌的整体解决方案供应商，同时英特尔等硬件设备商也不断地发布新的硬件来提高运算速度。但姚远认为，海量数据分析最核心的问题应该是分析方法的革新，与硬件不同，数据分析不会被轻易模仿，因为它需要方法论，需要较长时间的积淀。SAS在数据分析领域，有独特的沉淀和有较强的优势，针对不同的业务场景，数据分析需要依靠丰富的行业经验，去判断，去优化，这正好是SAS的优势所在。

　　“合作，共同推进生态产业链发展”

SAS除了与Teradata等公司进行合作之外，还与惠普、戴尔等硬件厂商进行紧密合作。同时，姚远还补充道，目前的Hadoop等开源的大数据分析技术非常受欢迎，SAS同样也支持Hadoop，并且SAS公司最新发布的HPA(高性能分析解决方案)在后端就采用了Hadoop这一开源技术，Hadoop成熟的数据保护技术能够帮助企业实现数据安全，并且其扩展亦非常简单。

在另一方面，随着数据量的不断增长，尤其是非结构化数据的海量剧增，可预见未来的数据分析将更多地集中在对非结构化数据的分析。非结构化数据，包括eMail, 微博，声音，图像等数据。不同的数据，处理方式不同。比如，微博，使用爬虫技术就行;声音文件，使用第三方技术将声音变成文本文件，存储到结构化里面去做;这些方案已经很成熟了。

但图像、视频等数据，要对其进行解码。目前针对图像、视频进行的解码技术还比较复杂，也不成熟，还需要进一步改良和优化。但随着时间推移，未来会出现成熟的技术来解决这个问题。大数据中的结构化、非结构数据将催生了很多技术需求。而SAS公司针对大数据分析的解决方案同样也需要用到这些技术。