大数据中的职业和工作角色-综合指南1

本文章将介绍大数据的职业和工作角色，帮助您了解大数据的需求，大数据的市场趋势，从新手到经验丰富的专业人士聘请大数据专业人士的各种公司，以及大数据中的不同档案，以便在像Hadoop开发人员，Hadoop管理员，Hadoop架构师，Hadoop测试人员和大数据分析师，以及他们在不同大数据配置文件中所需的角色和职责，技能和经验。

2.大数据职业和工作角色简介

每秒都会生成大量数据，如果每天都收集到这些数据，则会导致每天生成2.5个数据字节的数据。

这些数据的90％是在过去两年中产生的，这导致了数据的巨大爆炸。您可以想象，从成立之日到最近2年，数据生成仅占全球可用数据总量的10％。因此，数据生成是随时间呈指数而非线性的。

因此，我们已经看到了各种数据来源以及每天产生的数据量，我们可以得出结论，这些数据正在以每年40％的复合率增长。如果我们计算到2020年将产生的总数据，那么大约45 ZB将显示大数据的增长情况，并将成为未来几年中要求最苛刻的技术。这将为大数据专业人士提供一个非常光明的未来。

MarketsandMarkets的一项研究估计，到2017年底，Hadoop和大数据分析市场预计将达到139亿美元。

Hadoop工作不仅由IT公司提供，而且所有类型的公司都在招聘高薪Hadoop候选人，包括金融公司，零售组织，银行，医疗保健组织等.Hadoop开发人员工作和Hadoop管理工作对初创公司的需求很大正在将Hadoop直接构建到他们的业务计划中。EMC公司，苹果公司，Facebook，谷歌公司，甲骨文公司，Hortonworks公司，IBM公司，微软公司，思科公司等公司在印度的几乎所有城市都有多个Hadoop职位，包括Hadoop开发人员，Hadoop测试人员，Hadoop架构师和Hadoop管理员。大多数需求在班加罗尔，浦那，孟买，海德拉巴，钦奈，新德里和NCR。

被问到的最常见的问题之一是“Hadoop中可用的各种工作是什么”。以下是各种Hadoop作业说明的简要概述。

3. Hadoop开发人员

Hadoop开发人员的工作职责是根据系统设计编写程序，并且必须对编码和编程有相当的了解。Hadoop开发人员的任务类似于软件开发人员，但在大数据领域。Hadoop开发人员的工作还包括理解并致力于提出问题解决方案，设计和架构以及强大的文档编制技能。

Hadoop开发人员的角色和职责

定义工作流程

管理和查看Hadoop日志文件

通过Zookeeper进行集群协调服务

通过调度程序管理Hadoop作业

支持在Hadoop集群上运行的MapReduce程序

Hadoop开发人员所需的技能：

编写Pig Latin Scripts和HiveQL的专业知识

经验证的工作流程/调度程序，如Oozie

能够处理Flume和Sqoop 等数据加载工具

Hadoop开发人员配置文件所需的经验

从行业专家那里学习Hadoop

0-5岁

Hadoop开发人员简历必须融合上述技能，由在印度和国外招聘Hadoop开发人员的公司选择并获得大量Hadoop开发人员薪水。有关Cloudera的Hadoop开发人员认证的更多详细信息，请访问Cloudera认证课程的详细信息。

4. Hadoop架构师

Hadoop架构师的工作职责是设计系统应该如何工作，然后管理Hadoop解决方案的整个生命周期。他必须具备在Cloudera，HortonWorks和MapR等流行的Hadoop分发平台上工作的主题专业知识和交付经验。

Hadoop Architect角色和职责

设计技术架构和应用程序定制

进行必要的需求分析

进行拟议解决方案设计的部署

Hadoop Architect需要的技能

深入了解Hadoop架构和HDFS，包括YARN

Hive, Pig

Java MapReduce

HBase的

Hadoop架构师配置文件所需的经验

8年以上

Hadoop架构师简历必须融合上述技能，以便在印度和国外招聘Hadoop架构师的公司选择。

5. Hadoop管理员

Hadoop管理作业职责与系统管理员作业类似。Hadoop管理员角色和职责包括设置Hadoop集群，备份，恢复和维护。Hadoop管理员需要熟悉硬件系统和Hadoop架构。

Hadoop管理员角色和职责：

HDFS维护和支持

Hadoop集群规划和筛选

跟踪所有连接和安全问题

设置新的Hadoop用户

Hadoop管理员所需的技能：

深入了解Hbase

亲身体验Oozie，HCatalog，Hive

Linux环境中强大的脚本编写技巧

Hadoop管理员个人资料所需的经验

0-5岁

Hadoop管理员简历必须融合上述技能，以便在印度和国外招聘Hadoop管理员的公司选择。

6. Hadoop测试人员

Hadoop测试人员的工作职责是确保所设计的流程与组织所需的流程保持同步。他的主要职责是在Hadoop应用程序中查找和修复错误。

Hadoop Tester角色和职责

主要职责包括在程序中进行故障排除和查找缺陷，并将其报告给Hadoop开发人员以采取纠正措施

报告Hadoop / Pig / Hive组件中的所有正面和负面测试用例

Hadoop Tester所需的技能

测试JUnit，MRUnit框架的知识

了解Java以测试MapReduce作业

亲手了解Hive, Pig

Hadoop测试人员配置文件所需的经验

0-5岁

Hadoop测试员简历必须结合上述技能，由在印度和国外招聘Hadoop测试人员的公司选择。

7. Hadoop分析师

Hadoop分析师的工作职责是分析大量数据，并提出公司可以用来改进的见解。

Hadoop分析师的角色和责任

使用脚本语言从可用数据中开发新见解

根据不同的假设进行A / B测试，以影响不同的关键绩效指标

Hadoop Analyst所需的技能

亲手了解Hive, Pig

深入了解Flume知识和SQL命令

希望这些能给大家一个清楚的认知观，