京公网安备 11010802034615号
经营许可证编号:京B2-20210330
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于真实世界的使用案例的能力。
共享364
介绍
我最近读了一篇文章,描述数据科学是一个过度饱和的领域。这篇文章预测,ML工程师将在未来几年内取代数据科学家。
根据这篇文章的作者,大多数公司都致力于用数据科学来解决非常类似的业务问题。由于这个原因,数据科学家就没有必要想出新的方法来解决问题。
作者继续说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基本知识的人,他还拥有部署ML模型的知识。
在过去的一年里,我读过很多类似的文章。
其中一些文章指出,数据科学家的角色将被像AutoML这样的工具所取代,而另一些文章则提到数据科学是一个 "垂死的领域",很快就会被数据工程和ML运营等角色所超越。
作为一个与数据行业的不同支柱紧密合作的人,我想提供我对这个话题的看法,并沿着这些思路回答问题。
- 数据科学是一个正在消亡的职业吗?在未来几年内还会有对它的需求吗?
- 自动化工具是否会使数据科学家失去工作?
- 数据科学是否已经过饱和,在不久的将来,该领域是否会被新的角色所取代?
- 数据科学家对组织有利可图吗?他们如何为企业增加价值?
是否需要数据科学家?
大多数组织内的数据科学工作流程是非常相似的。许多公司雇用数据科学家来解决类似的业务问题。大多数建立的模型不需要你想出新颖的解决方案。
在这些组织中,你将采取的解决数据驱动问题的大多数方法很可能已经被使用过了,你可以从网上的海量资源中借用灵感。
另外,像AutoML和DataRobot这样的自动化工具的兴起,使预测性建模变得更加容易。
我在一些商业案例中使用了DataRobot,它是一个伟大的工具。它对许多数值进行迭代,并为你的模型选择最佳的参数,以确保你最终获得最高度准确的模型。
因此,如果预测性建模随着时间的推移已经变得更容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流程?
答案很简单。
首先,数据科学从来都不是为了重新发明轮子或建立高度复杂的算法。
数据科学家的作用是用数据为组织增加价值。而在大多数公司,这其中只有很小一部分涉及到构建ML算法。
其次,总有一些问题是无法通过自动化工具解决的。这些工具有一套固定的算法,你可以从中挑选,如果你确实发现了一个需要结合各种方法来解决的问题,你就需要手动去做。
虽然这种情况并不经常发生,但还是会发生--作为一个组织,你需要雇佣足够熟练的人去做这件事。此外,像DataRobot这样的工具不能做数据预处理或任何在建立模型之前的繁重工作。
人文关怀
作为一个曾为初创公司和大公司创建数据驱动解决方案的人,情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常情况下,你有一个数据集,然后给你一个商业问题。你要想出如何处理客户数据,使公司的销售额最大化。
这意味着,数据科学家需要的不仅仅是技术或建模技能。你需要将数据与手头的问题联系起来。你需要决定能够优化你的解决方案的外部数据源。
数据预处理是漫长而艰苦的,这不仅仅是因为它需要强大的编程技能,还因为你需要试验不同的变量以及它们与手头问题的相关性。
你需要将模型的准确性与转换率等指标联系起来。
模型的建立并不总是这个过程的一部分。有时,一个简单的计算可能就足以执行像客户排名这样的任务。只有一些问题需要你真正拿出一个预测。
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于现实世界的用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要数据科学家能够在数据的帮助下解决问题,在技术和业务技能之间架起桥梁,这个角色就会继续存在下去。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14在Python网络编程、接口测试、爬虫开发等场景中,HTTP请求的发送与响应处理是核心需求。Requests库作为Python生态中最流行的HTTP ...
2026-04-14 很多新人学完Python、SQL,拿到一张Excel表还是不知从何下手。 其实,90%的商业分析问题,都藏在表格的结构里。 ” 引言:为 ...
2026-04-14在回归分析中,因子(即自变量)的筛选是构建高效、可靠回归模型的核心步骤——实际分析场景中,往往存在多个候选因子,其中部分 ...
2026-04-13在机器学习模型开发过程中,过拟合是制约模型泛化能力的核心痛点——模型过度学习训练数据中的噪声与偶然细节,导致在训练集上表 ...
2026-04-13在数据驱动商业升级的今天,商业数据分析已成为企业精细化运营、科学决策的核心手段,而一套规范、高效的商业数据分析总体流程, ...
2026-04-13主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-04-13在数据可视化与业务分析中,同比分析是衡量业务发展趋势、识别周期波动的核心手段,其核心逻辑是将当前周期数据与上年同期数据进 ...
2026-04-13在机器学习模型的落地应用中,预测精度并非衡量模型可靠性的唯一标准,不确定性分析同样不可或缺。尤其是在医疗诊断、自动驾驶、 ...
2026-04-10数据本身是沉默的,唯有通过有效的呈现方式,才能让其背后的规律、趋势与价值被看见、被理解、被运用。统计制图(数据可视化)作 ...
2026-04-10在全球化深度发展的今天,跨文化传播已成为连接不同文明、促进多元共生的核心纽带,其研究核心围绕“信息传递、文化解读、意义建 ...
2026-04-09在数据可视化领域,折线图是展示时序数据、趋势变化的核心图表类型之一,其简洁的线条的能够清晰呈现数据的起伏规律。Python ECh ...
2026-04-09在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-04-09长短期记忆网络(LSTM)作为循环神经网络(RNN)的重要改进模型,凭借其独特的门控机制(遗忘门、输入门、输出门),有效解决了 ...
2026-04-08在数据分析全流程中,数据质量是决定分析结论可靠性的核心前提,而异常值作为数据集中的“异类”,往往会干扰统计检验、模型训练 ...
2026-04-08在数字经济飞速发展的今天,数据已渗透到各行各业的核心场景,成为解读趋势、优化决策、创造价值的核心载体。而数据分析,作为挖 ...
2026-04-08在数据分析全流程中,数据处理是基础,图形可视化是核心呈现手段——前者负责将杂乱无章的原始数据转化为干净、规范、可分析的格 ...
2026-04-07