我对数据科学的热情始于大约两年半前。我在做一份与数据科学无关的工作。对我来说，转行是一个很大的挑战，因为我有很多东西要学。

经过两年的学习和奉献，我终于找到了第一份数据科学家的工作。当然，我的学习之旅并没有停止。当我做数据科学家的时候，我学到了很多新东西。

学习部分不会改变。然而，我学什么和怎么学发生了巨大的变化。在本文中，我想详细说明这些变化。如果你正在努力成为一名数据科学家，你可能会经历同样的事情。

重要的是要强调，作为一名数据科学家需要不断学习。数据科学仍在发展，你需要时刻保持新鲜。我认为数据科学还不是一个成熟的领域，所以新的技术和概念经常被引入。

数据的大小

对于一个现实生活中的问题来说，1000万行并不多。

对我来说，最明显的变化是数据的大小。当我自己学习的时候，我正在练习最多有10万行的数据集。我现在认为它是一个小数据集。数据的大小取决于您正在处理的字段和问题。一般来说，1000万行对于一个实际的问题来说并不多。

使用大型数据集有其自身的挑战。首先，我需要学习能够处理此类数据集的新工具。在我开始做数据科学家之前，熊猫对我来说绰绰有余。然而，它并不是一个拥有大规模数据的高效工具。

允许分布式计算的工具更受青睐。Spark是其中最受欢迎的一个。它是一个用于大规模数据处理的分析引擎。Spark允许您将数据和计算分散到集群中，以实现性能的大幅提升。

幸运的是，可以将Spark与Python代码一起使用。PySpark是一个用于Spark的Python API，它结合了Python的简单性和Spark的高效性。

云计算

另一个大的变化是从本地环境到云环境。当我学习的时候，我在电脑里做所有的事情（即本地工作）。这对练习和学习来说已经足够了。

然而，一家公司在当地经营的可能性极小。大多数公司都在云中工作。数据存储在云中，计算在云中完成，等等。

为了高效地完成工作，获得对云工具和服务的全面理解是非常重要的。云提供商多种多样，但主要参与者是AWS、Azure、Google云平台。我必须学习如何使用他们的服务和管理存储在云中的数据。

Git

作为一名数据科学家，我经常使用的另一个工具是ISGit。我在学习的时候学会了基本的git命令。但是，在生产环境中工作时就不同了。Git是一个版本控制系统。它维护对代码所做的所有更改的历史记录。

Git允许协作工作。你可能会作为一个团队在项目上工作。因此，即使你在一家小型初创企业工作，git也是一项必备技能。项目是用Git开发和维护的。

Git比它从外部看起来要复杂一点。然而，你在做了几个项目后就习惯了。

不仅仅是工具！

工具并不是我学习过程中唯一改变的东西。我处理数据的方式也发生了变化。当您处理一个可随时使用的数据集时，在清理和处理数据方面，您无能为力。例如，在机器学习任务的情况下，您可以在几个简单的步骤后应用模型。

在你的工作中情况会不同。一个项目的很大一部分花费在准备数据上。我不是说只是清理原始数据。这也是重要的一步。然而，探索数据中的底层结构和理解特征之间的关系是至关重要的。

如果您正在处理一个新问题，定义数据需求也将是您的工作。这是另一个需要一套特殊技能的挑战。领域知识是其中必不可少的一部分。

特征工程比机器学习模型的超参数调整重要得多。通过超参数调优可以实现的功能是有限的，因此可以在一定程度上提高性能。另一方面，一个信息特性有可能大大改善一个模型。

在我作为一名数据科学家开始工作之前，我专注于理解机器学习算法和如何调整模型。我现在把大部分时间都花在准备数据上。

我所说的就绪包括许多步骤，例如

• 清洗和处理数据
• 重新格式化数据
• 探索和理解数据

统计知识对这些步骤非常重要。因此，我强烈建议提高你在这方面的知识。它会在你的数据科学生涯中帮助你很多。

结论

有大量的资源来学习数据科学。您可以使用它们来提高您在数据科学的任何构建块中的技能。然而，这些资源并不能提供真正的工作经验。没有错。当你找到第一份工作时，让自己准备好学习一套不同的材料。

谢谢你的阅读。如果你有任何反馈请让我知道。