2015年主宰大数据技术的五大发展趋势_数据分析师

大数据技术自出现以来以一种异常火热的速度发展着，且种种迹象表明这种发展趋势在2015年将会继续持续下去。MapR联合创始人兼首席执行官John Schroeder预测，2015年将有五大发展趋势主导大数据技术，MapR是致力于Hadoop分发版的专业公司。
 
仅仅几年时间里，大数据技术就从之前的炒作阶段逐渐发展成为新数字时代中的核心技术之一。2014年，企业内部的大数据计划慢慢地从测试阶段走向研发和生产。Schroeder表示，2015年，企业的大数据技术将会进一步推进，并向前发展，甚至会产生更多的用户案例，尤其是实时用户案例。
 
Schroeder说：“明年，企业和相关的组织机构将进行大数据的部署工作，并推进到实际的应用中。这主要是由目前业界所发生的一个重大转变所推动的结果，即当前这个行业里的领导者，以及即将成为这个行业里新的领导者都已经将新的大数据平台同他们的“运行”数据分析进行了整合，以便对其业务产生一定的影响。”
 
2015年主宰大数据技术的五大发展趋势如下：
 
1、数据的灵活性成为焦点
 
随着传统数据库(database)和数据仓库(data warehouse)的运行越来越缓慢，并很难满足企业业务的发展需要，数据的灵活性就成为了推动大数据技术发展的一个重要推动力。Schroeder指出，2015年，随着企业逐渐从简单地收集和管理数据过渡到真正使用这些数据，数据灵活性将越来越重要。
 
Schroeder说：“传统数据库和数据仓库运行成本很高，因此DBA(数据库管理员)资源需要对数据进行扁平化和结构化处理。高DBA的预付成本阻碍了对新数据资源的接入，同时这种严格的架构短时间内很难改变，其最终的结果导致传统数据库变得不够灵活，不能满足当前大多数企业或组织机构的需求。”
 
早期的大数据项目专注于对目标数据资源的存储，而对于有多少数据被管理则并不是非常在意，对此企业在今后需要将其注意力转移到测评数据的灵活性上。如何处理或分析数据，以便对运营产生一定的影响?当用户偏好，或市场情况、竞争趋势，以及运营状态发生变化时，企业该如何调整和应对?这些问题都将引领2015 年大数据项目的投资和发展范围。
 
2、企业逐渐从数据湖转向数据处理平台发展
 
某种情况来说，2014年的大数据领域实际上就是一种“数据湖(data lake)”的状态，一种基于对象的数据存储方式将收集来的数据以其最原生的格式(结构化的、非结构化的或半结构化的)存储下来留作日后使用。“数据湖” 具有很高的价值定位，它代表了一种可扩展的基础架构，非常经济且超级灵活。
 
Schroeder表示，随着多计算和执行能力的加强，将推动企业从大量收集数据转变为适当地处理数据，2015年“数据湖”将会继续演进。这不仅会带来更大的效率，同时也产生了单点管理和单点安全。
 
明年，随着企业数据的分批处理到实时处理的变化，以及企业整合Hadoop和数据库到其大规模处理平台上，“数据湖”会得到进一步的发展。换句话说，这一趋势并不是指“数据湖”里大规模用来支持更大的查询和报告的数据存储，而是对数据的持续访问和处理，同时企业将会更多地关注实时数据，并采取主动措施。
 
3、自助服务大数据成为主流
 
Schroeder指出，随着大数据工具和服务的发展，2015年，IT行业将逐渐缓解发展瓶颈的局面，许多商业用户和数据科学家将会借助相关工具和服务访问大量数据。
 
2015年，自助服务大数据将成为IT行业的一种趋势，它允许商业用户可以通过自助服务接触大数据。自助服务还可以帮助开发者、数据科学家和数据分析师直接进行数据探索和处理工作。
 
在此之前，IT行业要求建立一种集中的数据结构，但是这非常消耗时间和成本。针对某些用户案例，Hadoop可以帮助企业适应structure-on- read这种结构模式。一些先进的组织机构将会通过数据绑定的运行模式而非集中的结构来满足持续的需求。这种自助服务模式将促进企业更好地利用新的数据资源，同时又能够抓住新的市场机遇，应对问题和挑战。
 
4、Hadoop供应商整合 新商业模式出现
 
2013年，英特尔发布了其Hadoop的分发版，这在业界引起了不小的轰动。英特尔表示，在这个分发版中，他们采用了一种全新的方法，可以直接将Hadoop整合到芯片中。但是仅仅一年之后，英特尔就放弃这一分发版，并迅速被Hadoop分发版供应商Cloudera替代。
 
那时候，英特尔表示，用户都在关注Hadoop市场将如何发展、发展成什么样。而Hadoop产品的供应商也是多种多样、鱼龙混杂。Schroeder相信，随着失败的企业不再继续发展和推出其Hadoop分发版，转而关注其他领域，在2015年Hadoop供应商整合将会成为一种趋势(+微信关注网络世界)，持续进行。
 
Schroeder说：“开源软件(OSS)的使用到目前为止已经有20年的时间了，而且它给整个市场也带来了巨大价值。”技术的发展成熟需要几个阶段。技术的生命周期是以创新和开发高度差异化产品为开始，再以产品最终走向商业化为结束。被誉为“关系数据库之父”的Edgar Frank Codd在1969年提出了“关系数据库”的概念，1986年，甲骨文借助这一创新概念的发展成功上市。同时，这一创新概念也促进了1995年第一个 MySQL发放版的商业化进程。所以，从历史的角度来看，数据库平台技术从最初的创新到最后的商业化，经历了26年的时间走向成熟。
 
Schroeder表示：“目前，Hadoop还处于技术成熟周期的早期阶段，从谷歌发布富有影响力的MapReduce白皮书至今仅仅过去了10年的时间。自最初的概念提出发展到现在的10年里，Hadoop得到了全球范围内的部署和使用，并大大的超过了其他数据平台。”目前，Hadoop还是处于创新阶段，所以供应商错误地采取“Red Hat for Hadoop”策略的这种现象在市场也仍然存在，其中最明显的是英特尔，其次是EMC Pivotal。
 
Schroeder认为，2015年业界将会看到一个新的、更加微妙的OSS模式的演进，这一新模式的演进和发展将社区发展与深度创新结合到了一起。开源社区是创建标准和达成共识的一个重要区域，而竞争则是促进Hadoop从最初的分析处理器向全功能数据平台发展、演变的加速器。
 
5、企业架构师不再炒作大数据
 
2015年，随着企业架构师对Hadoop技术堆栈不断深入地了解，他们也慢慢地发挥着重要的作用，即对大数据应用的需求进行了更好地的定义和更加复杂的陈述，其中的一些因素包含了高可用性和业务连续性。
 
Schroeder说：“随着企业在数据中心中迅速地从试验阶段走向实际部署阶段，企业架构师开始走到前台来，并在大数据部署的道路上发挥着重要作用。”IT领导者选择基础架构方面也发挥着至关重要的作用，所选择的基础架构需要满足SLA的要求，并具备高可靠性、业务连续性，同时满足重要的业务需求。在2014年，Hadoop生态系统一直蓬勃发展，并产生大量的应用、工具和组件。预计2015年，该市场将关注跨平台之间的差异性，同时企业的基础架构中也将整合Hadoop到数据中心中去，并产生一定的商业价值。