数据科学家的工作性质，以及面临的挑战

托马斯.库恩在《科学革命的结构》中指出，范式（paradigm）是一个群体共享的信仰、价值和技术等等。科学范式指的是科学发现中赖以运作的理论基础和实践的规范，是科学工作者们所遵从的普适的世界观和行为方式。它代表了人类思维的方式和根基，也是交流科学知识时所默认的共有法则。在历史上，人类先后经历了经验、理论和计算的三个范式。基于铁球比羽毛更快落地的观察，亚里士多德总结说越重的物体降落越快，这就是最典型的基于经验的科学发现的范式。而在被无法阻挡的数据洪流冲击的今天，人们发现传统的三种科学发现模式已经不能在一些领域发挥有效的作用，比如分子生物学，社会科学。于是，图灵奖的获得者Jim Gray提出了著名的第四范式（The Fourth Paradigm），也就是数据思维或者数据科学。由此，数据科学家也成为了第四范式的实际践行者这个群体的统称。在这片文章里，咱们来探讨一下数据科学家跟科学的关系，他们的工作性质，以及面临的挑战等等。

数据科学家与科学

早前，在港科大计算机系读博士的时候听教授这样调侃，大意是：只有那些不能严格被算为科学而又想挤进科学的学科，才会在命名的时候加上“科学”二字作为后缀，比如计算机科学。这么算来，数据科学家就是一群很难算得上很科学的人，到底是不是这样呢？

在《大数据研究的科学价值》这篇文章里，李国杰院士给出了确定的结论：数据科学是关于数据的科学。尽管在现阶段，作为客观事物间接存在形式的“数据界”仍然依赖于各个领域的“物理世界”，其究竟有什么共性问题还不清楚。但是，过去的研究已经表明，不同领域的数据分析方法和结果存在一定程度的普适性。比如，电网数据分析的算法也可应用于供水和交通管理上。所以，数据科学目前还处在先做“白盒研究”的阶段，也就是说数据科学家们至少在5-10年内，还需要先协助其他领域的学者解决大数据带来的技术挑战问题。等到知识积累多了，很可能在“数据界”抽象出通用性较强的“黑盒模型”和普适规律。李院士指出，数据科学的发展很可能类似与数据库理论的建立：在经历了层次数据库、网状数据库多年实践之后，柯德发现了数据库应用的共性规律，建立了有坚实理论基础的关系模型。从而有力的证明了数据库中存在的共性理论。

在笔者十年的数据分析经历中，利用机器学习的各种模型，包括决策树、随机森林、贝叶斯网络、SVM等等，处理过分类、聚类、相关性分析等数据挖掘问题。而这些问题又是来源于中医、市场营销、计算广告学、社会学等截然不同的领域。可能在相当长的阶段，我们都是要为各个领域的业务服务，从解决目标领域的问题中来积累经验，帮助提炼数据思维中的共性问题。

数据科学家的工作

权威杂志《哈佛商业评论》宣布，数据科学家是二十一世纪最性感的职业。所谓性感，既代表着勾动人心的诱惑，又说明大家还不明确它干的到底是什么。

在现阶段，数据科学家的工作是很务实的。LinkedIn的首席数据科学家Manu Sharma在TiE Summit上接受采访时说，数据科学家的工作包括，采集数据，整理数据，建立正确的模型，测试模型，还要有一定的编程能力。通过这一系列工作，数据科学家开发出的数据应用不仅仅帮助开发创新的数据产品，从内部数据发现趋势和机会，更重要的是能推动LinkedIn的业务增长。回顾自己在数据分析领域所做的种种工作，笔者总结了数据科学家主要的工作为几个方面：

1. 数据的处理平台的搭建：包括公司的基础数据平台以及各个具体业务线的指标数据和日志数据平台。此步的设计和技术选型严重依赖于后两步的分析需求。

2. 历史数据的分析挖掘：包括跟各种产品线相关的业务分析，用户画像，用户行为分析，用户留存分析等等。类似的分析可以以图标或其他可视化的方式展现，目的是让业务决策者对于现状有清晰、系统、完整的认识，从而辅助其做出下一步的动作（action）。

3. 数据驱动的预测性分析：比如建立推荐模型并且利用模型对于未来的情况进行预测。在计算广告里面，点击率预估（CTR）模型就是能被用来给特定的人和场景推荐合适的广告。这一部分的工作是大数据挖掘下最有意义的工作，也是和产品线联系最紧密的部分。

不管数据科学家现在的工作范畴到底是如何界定，最近几年这个岗位的需求数量快速攀升。如今，所有规模的企业都在探索从大数据中挖掘出有价值的信息和可以转化成行动的洞察力。数据科学家具备从大数据掘金的能力，能为各行业的数据包括医疗数据、移动设备数据、社交媒体流数据等进行预测，带来巨大的商业价值。在未来5年数据科学家这一领域人才将出现供不应求的局面。McKinsey报告指出去年大数据强有力的增长。McKinsey同时预测在未来6年，仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况，同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。

数据科学家的挑战

Kaggle是一个供数据科学家大显身手的众包平台，在这个平台上，数据科学家们可以看到真实的预测性分析需求和业务数据，选择感兴趣的作分析，并且能看到自己的分析效果的实时排名。Kaggle总裁兼首席科学家Jeremy Howard认为一个伟大的数据科学家应具备创新、坚韧、好奇、深厚技术这四项素质。具备数据收集、数据改写、可视化、机器学习、计算机编程等技术的数据科学家使数据驱动决策并主导产品。他们更喜欢用数据说话。

我们看到，为了进行大数据的分析，我们首先面临知识范畴的挑战：数据科学家需要有数据库系统及数据管理的知识来应对大量数据的导入和存储；同时必须掌握机器学习中的算法和模型处理预测性的需求；在整个过程中，统计学的概念和人工智能的理论都是指导我们选择正确、合适的分析方法和对分析结果进行评估的重要依据。所以，Bitly首席科学家HilaryMason认为数据科学家是融合数学、算法，并可从大数据中寻求问题答案的人。

相对于知识而言，理念上的突破对于数据科学家显得更为重要。很多数据科学家都具有深厚的统计学背景，而统计学的目标是从各种类型的数据中提取有价值的信息，给人以后见之明，但不强调对事物的洞察力（insight），不强调深度的知识。所以，如何从固有的统计思维突破到数据的思维，就是一大挑战。举例来说，在大数据分析领域，我们更多关心事物的相关性或者关联性。与传统的逻辑推理研究注重条件和结果之间的因果关系不同，相关分析是为了找出数据集里隐藏的相互关系网，一般用支持度、可信度和兴趣度来衡量。大数据分析的巨大驱动是商业盈利。就像在著名的啤酒尿布的例子中，可以这种相关性来采取措施增加企业利润，而不用去深究背后的内在规律和机制。

除此之外，交流合作的能力也是数据科学家普遍需要解决的自身问题。这儿的交流不仅仅指的是数据科学家内部的知识分享，技能学习，更重要的是向业务人员、运营同事、领域专家的虚心请教和学习。唯此，我们才能更清楚业务的需求，了解现有数据的特性和不足，再此基础上开发出针对性的数据产品。所以，分析人员不仅仅要醉心于技术，更要走进业务去采风，一方面普及数据挖掘的知识和功能，一方面收集需求。

结语

图灵奖获得者Jim Gray在总结了科学研究在人类历史上所先后经历的实验、理论和计算三个范式之后，提出了基于数据而思维的第四范式（The Fourth Paradigm）。在数据的洪流无法阻挡的今天，传统的科学模式确实不能在一些领域发挥有效的作用。而实际的业务场景中，经验+感觉的方式也必将会被数字+事实的决策所取代。所以，数据科学家们，让我们行动起来，为实现基于数据的探索（data exploration）和数据驱动的业务（data-drivenbusiness）努力吧。