浅析大数据的基础架构-CDA数据分析师官网

热线电话：13121318867

浅析大数据的基础架构

2018-03-21

浅析大数据的基础架构

大数据虽然在不同的应用场景、不同企业环境应用方式会千差万别，但是常见的基本架构如图示。大数据都会有自己的基础架构平台，一般推荐是基于云计算的动态弹性平台，因为这将为大数据的分析处理提供强有力的支撑。当然，为了加速数据处理，Hadoop这类的基础处理平台也是必不可少的，包括实时数据处理的模块，加速数据处理的进度。大数据的价值和时间密切相关，如果不能及时将大数据快速处理，分析后的结果很可能就成为“事后诸葛亮”，好听好看没用途，相信任何一个企业都不希望大数据成为摆设。当然，不同的行业、场景会有数据分析、展示模块来配合，这些都需要数据科学家、分析师、开发者等共同配合完成，将移动互联网、物联网、社交媒体、实时数据流等进行分析处理，抽取出其中最有价值的规律、结论等，服务于我们面对的每个新明天和我们的新客户需求。
大数据不会推翻我们传统构建的传统结构化数据的堡垒，特别是普遍应用在企业数据中心的关系型数据库，仍然会是处理结构化数据的主要工具。但在大数据时代，我们更应该聚焦非结构化数据，结构化数据已经有了不错的归宿，非结构化数据才是我们处理的难题。据预测，到2020年，非结构化数据将数十倍于传统的结构化数据，成为大数据最主要的数据来源。Hadoop在大数据时代如日中天，成为很多企业追逐的对象，因为今天的Hadoop是非结构化数据的一大福音，通过Hadoop可以轻松掌控非结构化数据。
但是我们要充分认识到大数据确实不是传统关系型数据库能够轻松应对的，由于非结构化数据的来临，传统关系型数据库立马力不从心。同时，实时数据要求的低延迟、数据流处理也是传统数据库的软肋。当然，灵活模式、云架构以及海量数据处理要求，都导致传统关系型数据库陷入困顿，只能寻找新的数据处理模式，比如Hadoop等，这也是开源的Hadoop如此受业界追捧的主要原因。