数据科学家价值大跌：自动化工具快将取而代之

请紧记：「IT人的目标是要让自己没有工作。我们的工作就是要让程式把我们现在的工作做得更快，更好，更可靠，最终结果是程式取代了人手、IT人作用已没有了。」IT人如此，数据科学家亦如此！

    随着大数据兴起，很多公司都需要懂得统计学的IT人，亦即是大家近期听说的数据科学家数据科学家。此职位目前是人少需需求多（当然并非指香港，而是以亚太区作基准）。关于数据科学家的职业发展有很多讨论。最近LouisDorard在GigaOM上发表了一篇关于数据科学家职业发展的文章。观点是随着数据科学的发展，目前数据科学家的许多工作将被自动化的工具取代。而数据科学家这个职业也将不再存在。文章编译如下：

    数据科学家工作的一部分就是把他们的工作自动化。例如说通过一些预测性的API工具来实施工作自动化。然而，这些API已经在某些范畴开始取代数据科学家的工作了。这对这个职业来说可不是什么好事。

    我们现在处于大数据的时代。利用电脑学习来进行预测性分析的需求越来越强劲。正如InsightsOne的CEOWaqarHasan指出的一样「预测分析是大数据时代的杀手级应用」。我们也开始看到有一些公司开始针对大众提供电脑学习和预测分析的服务。例如Apigee收购了InsightsOne后就推出了预测性分析的API平台。

    我在大学上电脑科学的时候学到的第一课就是「我们工作的终极目标就是要让自己没有工作。我们的工作就是要让程序把我们现在的工作做得更快，更好，更可靠。数据科学也是如此。」

技术将取代数据科学家

    数据科学家的绝大部分工作花了在建立PredictionModel：选取与预测相关的变量。选择合适的Model，优化参数等等。目前，这类的工作已经能够有一些自动化的解决方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。这些API把复杂的电脑Model从数据中抽出来。用户可以专注于数据的采集，而把数据送给这些API，就能够产生一个PredictionModel了。

    这些新的工具意味着，在新的模式下，不需要数据科学家的参与了，公司里的每个人都能够参与数据科学的项目。高层将确定战略方向，中层经理们确定分析预测的具体目标，软件工程人员可以专注于项目实施。这里需要每个人都懂得一些电脑知识。不过如果不去深究算法和理论，只关注基本概念和一些具体的应用，Machinelearning即使对于非技术人员来说也能够很快了解。

    事实上，如果由具体应用范畴的专家来负责Machinelearning项目的话，往往能够更好地将应用范畴的知识结合到Machinelearning项目里去，例如能够更好的选出那些合适的特征，从而能够做出更好的PredictionModel。

    Machinelearning是人工智能的技术。通过数据来建立更好的智能。那么我们在人工智能范畴中还需要手动去进行运算的选择吗？我们当然有智能的自动方式。在人工智能范畴有一个趋势，就是人工智能算法(metaAIAlgorithm)，就是给予一些问题，能够自动找到合适的人工智能运算方法。

    利用这种方式来进行Machinelearning的塬理就是利用如概率来进行设定以及对特征设定不同权限等等。今天我们的计算能力已经足以让我们进行这样大量的测试。暴力测试可以采用常规的交叉验证，或者采用类似于FACET那样的渐进式技术。

    测试可以从对数据的最简单分析开始，如果我们发现数据在分类时有明显的不平衡性时，我们可以试着选择Anomalydetection的算法。

数据科学家将来做什么呢？

    有人会说，目前不能自动化的范畴太多了。的确，把所有Machinelearning范畴都自动化是很困难的。不过，目前API在预测方面已经能够比拟那些传统的分析技术了。这方面API创造的价值巨大。

    由于这些新的工具出现，数据科学家的角色也在发生变化。现在要成为数据科学家可能比以前更容易了。由于预测性API的出现，由数据科学家来做的工作变得更加容易了。这些工作可以由数据库工程人员或者软件工程人员来进行。这也就是有些人说的数据科学不科学。而我要说的是较为好听的说话：「数据科学正在不断进步。」

    在预测API范畴中，数据科学家依然在团队里扮演重要角色。他帮助团队成员使用这些API。更多是作为一个主管的角色来指导大家使用，而不像以前那样需要亲自动手。

    更重要的是，数据科学家还需要不断开发Machine learning的自动化工具。除了目前的监督学习(Supervised Learning的API外，也开始出现了强化学习(Reinforcement Learning)的API。此外，还需要提供一些工具能够使得应用范畴专家把他们的知识融入到算法中。

请紧记：「IT人的目标是要让自己没有工作。我们的工作就是要让程式把我们现在的工作做得更快，更好，更可靠，最终结果是程式取代了人手、IT人作用已没有了。」IT人如此，数据科学家亦如此！

    随着大数据兴起，很多公司都需要懂得统计学的IT人，亦即是大家近期听说的数据科学家数据科学家。此职位目前是人少需需求多（当然并非指香港，而是以亚太区作基准）。关于数据科学家的职业发展有很多讨论。最近LouisDorard在GigaOM上发表了一篇关于数据科学家职业发展的文章。观点是随着数据科学的发展，目前数据科学家的许多工作将被自动化的工具取代。而数据科学家这个职业也将不再存在。文章编译如下：

    数据科学家工作的一部分就是把他们的工作自动化。例如说通过一些预测性的API工具来实施工作自动化。然而，这些API已经在某些范畴开始取代数据科学家的工作了。这对这个职业来说可不是什么好事。

    我们现在处于大数据的时代。利用电脑学习来进行预测性分析的需求越来越强劲。正如InsightsOne的CEOWaqarHasan指出的一样「预测分析是大数据时代的杀手级应用」。我们也开始看到有一些公司开始针对大众提供电脑学习和预测分析的服务。例如Apigee收购了InsightsOne后就推出了预测性分析的API平台。

    我在大学上电脑科学的时候学到的第一课就是「我们工作的终极目标就是要让自己没有工作。我们的工作就是要让程序把我们现在的工作做得更快，更好，更可靠。数据科学也是如此。」

技术将取代数据科学家

    数据科学家的绝大部分工作花了在建立PredictionModel：选取与预测相关的变量。选择合适的Model，优化参数等等。目前，这类的工作已经能够有一些自动化的解决方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。这些API把复杂的电脑Model从数据中抽出来。用户可以专注于数据的采集，而把数据送给这些API，就能够产生一个PredictionModel了。

    这些新的工具意味着，在新的模式下，不需要数据科学家的参与了，公司里的每个人都能够参与数据科学的项目。高层将确定战略方向，中层经理们确定分析预测的具体目标，软件工程人员可以专注于项目实施。这里需要每个人都懂得一些电脑知识。不过如果不去深究算法和理论，只关注基本概念和一些具体的应用，Machinelearning即使对于非技术人员来说也能够很快了解。

    事实上，如果由具体应用范畴的专家来负责Machinelearning项目的话，往往能够更好地将应用范畴的知识结合到Machinelearning项目里去，例如能够更好的选出那些合适的特征，从而能够做出更好的PredictionModel。

    Machinelearning是人工智能的技术。通过数据来建立更好的智能。那么我们在人工智能范畴中还需要手动去进行运算的选择吗？我们当然有智能的自动方式。在人工智能范畴有一个趋势，就是人工智能算法(metaAIAlgorithm)，就是给予一些问题，能够自动找到合适的人工智能运算方法。

    利用这种方式来进行Machinelearning的塬理就是利用如概率来进行设定以及对特征设定不同权限等等。今天我们的计算能力已经足以让我们进行这样大量的测试。暴力测试可以采用常规的交叉验证，或者采用类似于FACET那样的渐进式技术。

    测试可以从对数据的最简单分析开始，如果我们发现数据在分类时有明显的不平衡性时，我们可以试着选择Anomalydetection的算法。

数据科学家将来做什么呢？

    有人会说，目前不能自动化的范畴太多了。的确，把所有Machinelearning范畴都自动化是很困难的。不过，目前API在预测方面已经能够比拟那些传统的分析技术了。这方面API创造的价值巨大。

    由于这些新的工具出现，数据科学家的角色也在发生变化。现在要成为数据科学家可能比以前更容易了。由于预测性API的出现，由数据科学家来做的工作变得更加容易了。这些工作可以由数据库工程人员或者软件工程人员来进行。这也就是有些人说的数据科学不科学。而我要说的是较为好听的说话：「数据科学正在不断进步。」

    在预测API范畴中，数据科学家依然在团队里扮演重要角色。他帮助团队成员使用这些API。更多是作为一个主管的角色来指导大家使用，而不像以前那样需要亲自动手。

    更重要的是，数据科学家还需要不断开发Machine learning的自动化工具。除了目前的监督学习(Supervised Learning的API外，也开始出现了强化学习(Reinforcement Learning)的API。此外，还需要提供一些工具能够使得应用范畴专家把他们的知识融入到算法中。