由Mihail Eric著，《机器学习研究与教育》。

参加KDnuggets工作满意度调查，部分灵感来自这个博客。

以下是受此帖子启发的KDnuggets漫画

数据。它无处不在，我们只会得到更多。在过去的5-10年里，数据科学吸引了来自四面八方的新来者试图尝到这一禁果。

但是，Data Science招聘的现状是什么呢？

下面是这篇文章的要点，用两句话写给忙碌的读者。

TLDR:与数据科学相比，数据工程公司的开放角色70%。当我们培养下一代数据和机器学习从业者时，让我们更加强调工程技能。

作为我为数据专业人员开发教育平台的工作的一部分，我对数据驱动（机器学习和数据科学）角色的市场是如何发展的有很多思考。

在与数十名数据领域的潜在进入者（包括世界各地顶级院校的学生）的交谈中，我看到了大量的困惑，即哪些技能对帮助候选人在人群中脱颖而出和为他们的职业生涯做准备最重要。

仔细想想，数据科学家可以负责以下任何子集：机器学习建模、可视化、数据清理和处理（即SQL争论）、工程和生产部署。

你是如何开始为新人推荐学习课程的？

数据胜于雄辩。因此，我决定对自2012年以来Y-Combinator的每家公司雇佣的数据角色进行分析。指导我研究的问题：

• 公司最常招聘的数据角色是什么？
• 我们经常谈论的传统的数据科学家有多受欢迎？
• 启动数据革命的技能在今天是否相关？

如果你想要完整的细节和分析，请继续阅读。

方法论

我选择对YC投资组合公司进行分析，这些公司声称将某种数据作为其价值主张的一部分。

为什么要关注YC？首先，他们很好地提供了一个易于搜索的公司目录。

此外，作为一个特别有前瞻性的孵化器，十多年来资助了来自世界各地的公司，我觉得他们提供了一个有代表性的市场样本，可以用来进行我的分析。话虽如此，但对我所说的半信半疑，因为我没有分析超大型科技公司。

我搜索了2012年以来YC所有公司的主页网址，产生了一个大约1400家公司的初始池。

为何止步于2012年？2012年是AlexNet赢得ImageNet竞赛的一年，有效地启动了我们现在正在经历的机器学习和数据建模浪潮。公平地说，这孕育了最早几代数据第一的公司。

从这个初始池中，我执行了关键字过滤，以减少我必须查看的相关公司的数量。特别是，我只考虑了网站至少包含以下术语之一的公司:AI、CV、NLP、自然语言处理、计算机视觉、人工智能、机器、ML、数据。我也忽略了网站链接被打破的公司。

这是否产生了大量的假阳性？绝对！但在这里，我试图尽可能地优先考虑高召回，认识到我将对相关角色的单个网站进行更细粒度的手动检查。

有了这个精简的职位库，我浏览了每个网站，找到了招聘广告的位置（通常是Careers、jobs或We正在招聘页面），并记录了标题中包含数据、机器学习、NLP或简历的每个角色。这给了我一个大约70家不同的公司招聘数据角色的池。

这里有一个提示：可以想象，我错过了一些公司，因为有些网站信息很少（通常是秘密的），实际上可能正在招聘。此外，有些公司没有正式的职业页面，但要求潜在候选人直接通过电子邮件联系。

我忽略了这两种类型的公司，而不是接触他们，所以他们不是本分析的一部分。

另一件事：这项研究的大部分是在2020年的最后几周完成的。随着公司定期更新其页面，打开的角色可能已经更改。然而，我不相信这会对得出的结论产生重大影响。

数据从业者负责什么？

在深入研究结果之前，值得花一些时间澄清每个数据角色通常负责什么职责。下面是我们将花时间研究的四个角色，并对它们的工作进行简短描述：

• 数据科学家:使用统计学和机器学习中的各种技术来处理和分析数据。通常负责构建模型，以探索可以从某个数据源中学到什么，尽管通常是在原型而不是生产级别。
• data Engineer:开发一组健壮且可伸缩的数据处理工具/平台。必须适应SQL/NOSQL数据库的争论和构建/维护ETL管道。
• 机器学习(ML)工程师:通常负责训练模型和生成模型。需要熟悉一些高级ML框架，并且必须能够为模型构建可伸缩的训练、推理和部署管道。
• 机器学习(ML)科学家:从事尖端研究。通常负责探索可以在学术会议上发表的新想法。通常只需要在将新的最先进的模型交给ML工程师进行生产之前对它们进行原型化。

有多少个数据角色？

那么，当我们绘制公司招聘的每个数据角色的频率时，会发生什么呢？剧情是这样的：

与传统的数据科学家相比，数据工程师的开放角色比传统的数据科学家多了多少。在本例中，原始计数对应于公司雇用的数据工程师的大约比雇用数据科学家的多55%，机器学习工程师的数量与雇用数据科学家的数量大致相同。

但我们可以做得更多。如果你看看各个角色的标题，似乎有一些重复。

让我们只通过角色整合来提供粗粒度的分类。换句话说，我选择了描述大致相同的角色，并将它们合并在一个单一的标题下。

这包括以下一组等价关系：

• NLP工程师≈CV工程师≈ML工程师≈Deep Learning工程师（虽然域可能不同，但职责大致相同）
• ML科学家≈Deep Learning研究员≈ML实习生（实习描述似乎非常注重研究）
• 数据工程师≈数据架构师≈数据主管≈数据平台工程师

如果我们不喜欢处理原始计数，这里有一些百分比让我们放心：

我可能可以将ML研究工程师归入ML科学家或ML工程师中的一个容器，但是考虑到它有点混合角色，所以我保留了它。

总的来说，合并使差异更加明显！有~70%开放的数据工程师职位比数据科学家职位多。此外，还有~40%开放的ML工程师职位比数据科学家职位多。也只有~30%ML科学家和Data科学家职位一样多。

外卖

与其他数据驱动的职业相比，数据工程师的需求越来越高。从某种意义上说，这代表了更广泛领域的进化。

当机器学习在5-8年前变得火热时，公司决定他们需要能够在数据上制作分类器的人。但后来像TensorFlowandPyTorch等框架变得非常好，使深度学习和机器学习开始的能力民主化。

这使数据建模技术商品化了。

今天，帮助公司获得机器学习和建模对生产的洞察的瓶颈集中在数据问题上。

如何注释数据？如何处理和清理数据？你怎么把它从A移到B？你是如何以最快的速度每天这样做的？

所有这些都意味着拥有良好的工程技能。

这听起来可能很无聊，也不性感，但老派的软件工程倾向于数据可能是我们现在真正需要的。

多年来，由于酷炫的演示和媒体炒作，我们已经迷恋上了数据专业人士的想法，他们为原始数据注入了活力。毕竟，您最后一次看到关于ETL管道的cruncharticle是什么时候？

如果没有别的，我相信固体工程是我们在数据科学工作培训或教育项目中强调不够的东西。除了学习如何使用linear_regression.fit()之外，还要学习如何编写单元测试！

那么这是否意味着你不应该学习数据科学？没有。

这意味着竞争将变得更加激烈。市场上有大量受过数据科学培训的新人，可供选择的职位将会减少。

总是需要能够有效地分析和从数据中提取可操作的见解的人。但他们必须是好的。

从Tensorflow网站上下载他们Iris DataSet上的预训练模型可能已经不足以获得数据科学的工作。

然而，很明显，随着ML Engineer的大量空缺，公司通常需要一个混合数据实践者：能够构建和部署模型的人。或者，更简洁地说，有人可以使用Tensorflow但也可以从源代码构建它。

这里的另一个要点是，没有那么多的ML研究职位。

机器学习研究往往会得到相当一部分的炒作，因为这是所有尖端东西发生的地方，所有的AlphaGo、GPT-3等等。

但对于许多公司，尤其是处于早期阶段的公司来说，前沿的尖端技术可能不再是他们所需要的了。获得一个90%的模型，但可以扩展到1000+用户，对他们来说往往更有价值。

这并不是说机器学习研究没有重要的位置。绝对不行.

但你可能会在行业研究实验室找到更多这类角色，它们能够承担长期资本密集型押注的费用，而不是在种子期初创企业试图向投资者展示产品与市场的契合度，因为它获得了a系列。

如果没有别的，我相信重要的是使新来的人对数据领域的期望合理和校准。我们必须承认数据科学现在已经不同了。我希望这篇文章能够对今天的比赛状态有所了解。只有当我们知道我们在哪里，我们才知道我们需要去哪里。