介绍

我最近读到一篇文章，将数据科学描述为一个过饱和的领域。文章预测ML工程师将在未来几年取代数据科学家。

根据这篇文章的作者，大多数公司致力于用数据科学解决非常相似的业务问题。因此，数据科学家没有必要提出解决问题的新方法。

作者接着说，在大多数数据驱动的组织中，为了解决问题，只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基础知识的人，他也拥有部署ML模型的知识。

在过去的一年里，我读过许多类似的文章。

其中一些人表示，数据科学家的角色将被AutoML之类的工具所取代，而另一些人则将数据科学称为“垂死的领域”，很快将被数据工程和ML操作之类的角色所超越。

作为一个与数据行业不同支柱密切合作的人，我想就这个主题提供我的观点，并回答以下问题：

• 数据科学是一个垂死的职业吗，未来几年还会有需求吗？
• 自动化工具会让数据科学家失业吗？
• 数据科学是否已经过度饱和，在不久的将来该领域会被更新的角色所取代吗？
• 数据科学家对组织有利可图吗？它们如何为企业增值？

需要数据科学家吗？

大多数组织中的数据科学工作流程非常相似。许多公司雇佣数据科学家来解决类似的商业问题。大多数建立的模型都不需要你想出新颖的解决方案。

在这些组织中，您将采用的解决数据驱动问题的大多数方法很可能以前已经使用过，您可以从网上可用的大量资源中获得灵感。

此外，AutoML和DataRobot等自动化工具的兴起使预测建模变得更加容易。

我在一些业务用例中使用DataRobot，它是一个很好的工具。它迭代许多值，并为您的模型选择最佳参数，以确保最终得到尽可能高精度的模型。

因此，如果预测模型随着时间的推移变得更加容易，为什么公司仍然需要数据科学家？为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流呢？

答案很简单：

首先，数据科学从来不是关于重新发明轮子或构建高度复杂的算法。

数据科学家的角色是用数据为组织增加价值。在大多数公司中，只有很小一部分涉及到构建ML算法。

其次，总会有自动化工具无法解决的问题。这些工具有一组固定的算法，您可以从中选择，如果您确实发现了一个需要结合使用多种方法来解决的问题，您将需要手动完成。

虽然这种情况并不经常发生，但仍然会发生--作为一个组织，你需要雇佣足够熟练的人来做到这一点。此外，像DataRobot这样的工具不能进行数据预处理，也不能进行建模之前的任何繁重工作。

人情味

作为一个为初创企业和大公司创建数据驱动解决方案的人，这种情况与处理Kaggle数据集的情况非常不同。

没有固定的问题。通常，您有一个数据集，然后给您一个业务问题。如何利用客户数据来最大限度地提高公司的销售额取决于您。

这意味着数据科学家需要的不仅仅是技术或建模技能。您将需要将数据与手头的问题连接起来。您需要决定可以优化解决方案的外部数据源。

数据预处理是漫长而艰苦的，不仅因为它需要很强的编程技能，还因为您需要试验不同的变量及其与手头问题的相关性。

您需要将模型精确度与转换率之类的指标联系起来。

模型构建并不总是这个过程的一部分。有时，一个简单的计算可能足以执行像客户排名这样的任务。只有一些问题需要你做出预测。

归根结底，数据科学家为组织提供的价值在于他们将数据应用于现实世界用例的能力。无论是建立细分模型、推荐系统，还是评估客户潜力，除非结果是可解释的，否则对组织没有真正的好处。

只要一个数据科学家能够在数据的帮助下解决问题，并弥合技术和业务技能之间的差距，这个角色就会继续存在。