2017年，这两个大数据岗位一定会火

讨论哪个大数据岗位会火之前，我们先来简单的分析一下大数据领域的行情，这里重点说一下当前的情况。

2016年，互联网行业遇到了资本寒冬，抛开大公司不说，一些中小型的公司不断的缩减预算，因为很难融到钱。

但是从大数据这个角度出发去看的话，会发现即使其他类型的技术岗位行情不太好，但大数据领域一直还是不错的，这一方面国内大数据政策推动的原因，另一方面是中小型的公司想拿到钱那必须有可谈的技术故事，是的，那就是数据，或者说数据驱动。

所以，不管怎么说，17年，整体大数据领域的整体市场需求还是偏良性的(相对于其他技术类型来说)。

但是，受14年开始，大数据培训市场批量水流线生产大数据工程师的影响，目前大数据需求市场会有些小混乱，所谓混乱是指技术水平参差不齐，包括大量打着大数据旗号的传统数据库工程师(这个很大一部分原因也是培训机构造成的)；企业需求招聘不清晰、对大数据岗位定位混乱。

这种乱象，从身边获取的简历，各种招聘现象，以及各种大数据讨论社群的相关话题讨论中可以看出。

并且这种乱象会持续比较长的一段时间，直到接受正统知识体系教育科班大数据工程师们充斥需求市场，降低大数据速成工种比例，以及企业公司对大数据有足够的认知之后，才会逐渐消失，市场价格才会逐渐趋于良性(当然，那个时候大数据领域的技术福利就会下降了)。

还是以2017年说事，受大数据培训市场进一步影响，以及受各大院校16年开始往大数据市场池子投放正规军的影响，低门槛的大数据开发，以及相对基础要求较低的数据分析类的大数据职位会有一些影响。

总体表现就是薪酬好像不会像以前那般好谈了，然后就是缺口也在慢慢的变小，因为市场上绝大部分的号称大数据工程师的都是处于这种阶段的。

当然，能够上升到诸如大数据架构师这种级别的人，依然是市场的香馍馍。

基于以上这些情况，在大数据领域中，还是有些岗位需求量会走高的。

是的，2017年一定会火的。

算法以及数据挖掘

当然，这里指的算法以及数据挖掘与传统的可能还是有所区别的，不管是模式还是所使用的工具，或者各种工程化的形式，区别还是蛮大的，可能不变就是算法的原理了。

国内四五年的大数据发展落地，抛开大些的公司不说，就绝大部分一般公司来说，在基本数据处理，数据浅层价值的挖掘(最典型如报表价值的输出)这块已经有足够的累积了。

那必然会往更高层级去演化，诸如挖掘数据中的个性化，做一些更深层次的预测，以及研究内容的深层价值，文本挖掘、NLP等，甚至是深度学习，人工智能AI的层级。

这些领域除了比较新的深度学习、AI等，其他其实在更早的时候都有人在研究，那在这里为何把他列到这里来说，那是因为个人数据挖掘与大数据关联之后，很多东西都有其独特性。

包括数据各个阶段处理的模式，应用场景的不同，实际工业生产中算法设计的模式(最典型如大数据模式下，偏爱于统计分析即样本数对结果影响较大的算法)，甚至是算法最终工程化的模式，使用到的工具，都有很大差别。

最起码，我个人认为，传统的数据挖掘工程师与我这里所说的数据挖掘工程师还是两类人。

但是，我们也知道，学校里是很难有大数据挖掘这种专业存在的，所以，这个岗位的人才来源有两种：

懂算法以及数据挖掘相关东西，补充大数据相关知识结构体系，逐渐适应大数据模式下的挖掘模式。

在大数据领域摸爬滚打足够多的年份，逐渐从实操中补充数据挖掘相关知识体系结构。

前一种人理论知识足够丰富，但是在工程化的能力上以及实际应用场景的映射上稍弱，一不留神只能在大公司能找到角色定位，因为中小公司养不起不能实际工程化只会理论的纯算法工程师。

后一种人实操能力会比较强，理论相对比较薄弱，但能根据实际业务场景设计算法模型，还能负责工程化业务化，这种人在中小型公司吃得开，在大公司估计只能沦为纯算法研究工程师的工程化助手。

但不管哪种，在2017年，都会迎来需求新高，并且在百家齐放的时代，野路子出身的实操数据挖掘选手反倒会更受欢迎，毕竟纯算法研究的人力的成本太高。

数据爬取工程师

或许有个更为熟知的简称“爬虫工程师”。

其实一直以来，大部分人对于爬虫工程师的认知，或许并不会归于大数据领域中来，但我个人认为最起码从16年开始，应该是要归于大数据体系的。

我记得在《DT时代变革的反思》一文中(这篇是15年写的，你看现在互联网开放数据真的是被重视起来了，茫茫多以公开数据起家的公司)，甚至在其他相关的文章中，一直强调大数据时代一个很重要的数据来源，那就是互联网公开数据集。

在2016年，这个特征表现的尤为突出，各种公司纷纷把目光定准互联网公开数据集，以期通过互联网公开数据，挖掘其中的价值，意图变现。

在他领域就不都说，在大数据垂直行业，比较典型的就是催生了很多以互联网公开数据为基础数据来源的各种数据分析咨询顾问公司。

关注新媒体行业的，估计没几个人不关注的，毕竟没几个人不用微信的，诸如新榜(前几天的2017新榜大会还是蛮轰动的)，其监测的数据应该绝大部分都是通过检测爬取的方式获取的。

那么，在2017年，数据爬取只会和大数据领域联结的更紧密。

作为大数据整个业务链路中的第一环，负责数据源的接入，有什么理由把人家单独丢开呢？！

在2017年，“内容价值变现”口号“甚嚣尘上”同时，作为抓住内容第一环，海量数据的获取，数据爬取工程师的重要程度会逐渐被人认可。

当然，与此同时，上面说到的数据挖掘岗位，偏向于文本挖掘、画像体系构建、NLP之类的，也会更受欢迎。

所以

是的，2017年，这两个大数据的岗位一定会火起来，不信，我们到时候瞧瞧(反正不准你咬不了我 哈哈)。

其实还有更大的证据证明这两个岗位一定会火起来。

我司，俺部门(大数据部门)招数据挖掘&爬虫工程师，当然还有大数据开发工程师，你看连我司都招了，大数据市场这几个职位能不火么。

好了，不扯，说正经的(好像说着上面都不是正经的样儿)：

1、需求数据挖掘工程师一枚，不要纯搞算法理论的，需要有算法分布式工程化能力，需求文本挖掘项目经验。

2、需求大数据开发工程师一枚，三年左右大数据技术背景，各种hadoop生态组件都玩过点，能够进行spark应用开发，会点java后端东西，附带点数据挖掘技能更佳。

3、需求爬虫工程师一枚，java爬虫、python爬虫体系都无所谓，需求能够规模化、自动化爬取数据，会点java后端技能更好，有微信、微博数据爬取更佳。

最后，讲真，这两个方向在大数据领域真的是有市场的，挖掘算法类的就说了，跟不少猎头类的朋友也都聊过，一直是刚需，而爬虫类的，应该会被逐渐重视的，因为数据获取的模式逐渐在改变。