
如何成为一名合格的数据科学家
本文独家探讨了IT行业发展最快、业内讨论最多的角色之一--数据科学家。根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
经过为期数月的高失业率和仍然摇摆不定的经济态势之后,从就业市场上得到的任何好消息都能迅速获得关注,但即便是这样,对于大家都关注着一个突然非常“in”的工作职务:数据科学家这样的事情,似乎没能完全解释得清。
根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。
数据科学家的巨大诱惑力直接根源于市场对大数据与分析的强烈兴趣。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
此外,那些适应多维度工作岗位,糅合计算机科学,掌握先进的定量概念、业务领域知识和沟通技巧的人常常是鹤立鸡群、凤毛麟角。随着数据科学家的供不应求,数据工作者的收入达到了6位数字,人力资源公司Modis高级副总裁Matthew Ripaldi表示。
招聘人员同样表示数据科学家岗位飞速增长,即便工作职位的数量并不那么惊人。“当我们两年前开始寻找符合该职位要求的人时,仅仅只有8个工作岗位,但现在工作岗位有42个。”Tom Silver表示,他在工作搜索网站Dice.com担任北美地区高级副总裁。“83000个工作岗位中的42个,实在是不算庞大,但我决不会怀疑这个岗位在未来的快速发展”。
众人瞩目之外,有任何数据和计算机工作背景的人自然会心生怀疑,谁会成为数据科学家,我能不能成为数据科学家?笔者在此试着解答一些最基本的问题。
数据科学家是什么?
这个看似简单的问题的答案,取决于你问的对象。网址缩短服务Bit.ly公司首席科学家Hilary Manson对数据科学家的定义获得了广泛接受与认可: 数据科学家指能获取、清洗、探索、建模与解释数据的人。
位于新墨西哥州圣达菲的咨询机构Hired Brains公司首席执行官兼首席分析师 Neil Raden则更为深入,他将数据科学家分成两种类型。
第一种类型--他们是真正的科学家,研究创造算法和方法,发表论文,并积极参与这些规则的沟通。这些单个的人物常见于以算法和方法为核心的研究机构和学术机构(想想谷歌、亚马逊和华尔街),Raden表示。
第二种类型--这个类型的人群更接近于我们今天提到的雇佣市场上的人--他们不是科学家而是数据从业者,Raden补充道。他们都是统计学与数学建模及开发领域的专家,掌握并采用定量分析方法,设计、测试和部署模型。
预测分析服务提供商Opera解决方案研发中心全球负责人Jacob Spoelstra,也把在Opera工作的人大致归类为数据科学家,以及由他本人与同事负责的其他工作。
Opera公司的“数据科学家”--与Raden分类的第一种类型人群十分符合--在机器学习(能力)的水平上工作,开发统计模型和模式识别算法,从海量数据流中发现和提取智能预测。他们将分析发现转化为直接行动,通过减少财务欺诈或检测高风险抵押贷款等类似措施,帮助提升业务。Spoelstra估计,类似谷歌这样的公司雇佣了数百位这种类型的数据科学家,而Opera公司近700位雇员中,有三分之一是机器学习(能力)领域的专家。
同时,天才分析(Talent Analytics)公司CEO Greta Roberts坚信当前对数据科学家工作的理解实际上包含四大功能角色。一项针对数据科学家的调查询问了他们如何分配11项分析功能的时间,出现了四个集群:数据准备人员(他们花费绝大部分时间,进行数据的采集、制备和分析);程序员(他们创建程序并做相应的一些分析);管理人员(他们专注于数据管理、管控、展示、诠释与设计);最后一种为通才(什么都干,什么都只会一点点)。
“当我最开始听说这些的时候,我认为’没有人符合该定义--他们怎么可能?’”Robert说,“因为这是一个新角色,我觉得人们把什么职责都扔给了他。当你过度指定,最终只能得到一个空集”。许多商业人士视作数据科学家的,实际上是一个团体的人表现出的各种各样的功能。尽管现在依然缺乏符合这些角色的人,实际情况也与“凤毛麟角”相去甚远,有太多的人拥有这样的天赋,成长为一个或多个所需的角色。
必要的技能与凭据是什么?
正如Robert表明的那样,详细的数据科学技能如雨后春笋般在网络上列出,列表令人生畏。绝大多数指定经验要求先进的数学和统计分析(包括对类似R、SAS和Stata工具等的掌握)、创建程序(包括C、C++、Python和Java语言)、SQL数据库、平台如Hadoop/MapReduce、数据挖掘和建模、数据虚拟化、创造性和沟通能力与商务理解力。
当然,数据科学家的确需要与先前的数据分析人员决然不同的能力与技巧,这是事实。Raden承认,例如,他们需要有能力处理当前各种各样的有效数据,并且最终分析数组可以采用,Raden表示。
他们需要掌握编程技巧,也要有定量方法和调查与建模方向的背景;在涉及到数据的时候,他们必须能够辨别什么数据是有意义的,什么数据是无意义的,Raden补充道。高效的数据科学家还需要足够的业务领域知识,在复杂学科上与缺乏相应背景工具和方法的人顺畅沟通的能力,他说。
到底是什么导致数据科学家优于其他分析人士呢?Ripaldi解释,是沟通能力--通常的C系列--数据告诉他们结果,以及针对此结果应该如何采取行动。“你可以分析所有你想要的数据,但如果你不能清晰的表达出数据告诉你的东西,你就不能算作是数据科学家”,他说。毕竟,我们的目标是推进经营战略,如减少客户流失,提供跨渠道,化解金融风险。
然后再一次,Robert看到了这些需求本身存在的固有的冲突,她坦陈,“他们不得不能够坐在那里,在一段时间内寻找数据,然后翻转开关,化身为能引人入胜的主持人?这完全是两个不同的人。”
Opera--也雇佣了各种各样机器学习(能力)的数据科学家--在寻找这样的人,他们拥有定量领域背景,有数学和统计概念资质,能够将这些概念以计算机程序进行实例化,接受大容量数据流并对解决实际商业问题有一定兴趣。
“我们对那些需要学习机器学习算法的人感到自在,如果他们对数学和解决问题的能力表现出色。”Opera分析部门全球负责人Joseph Milanna表示,“他们可能不是一名合格的数学家或已经建立了神经网络,但他们应该表现出激情与兴趣,这样我们才会选择他”。
拥有怎样的背景,才能成为一名数据科学家?
在Opera,大多数成功的申请者都拥有更高水平的学术培训甚至拥有PhD。“鉴于在机器学习科学和其他新出现的新型技术的进步,科学家的确需要更高水平的训练,浸淫最新思想成果”,Milanna说。即便是在求职搜索网站Dice,半数的数据科学家都指定要求必须具备PhD学位,Silver表示,“这不是绝对必要的,但却是主要的奖励”,他补充。
Opera雇员跨越了各种各样的数据驱动型学科,包括计算机科学、电子工程、统计学、机械工程和心理学。这样跨学科的知识大有裨益,Milanna强调。例如,他已经看到了来自水文学的分子式应用于股票市场交易信号。
对于更大的数据科学家池,Raden坚信PhD学位不是必要的。如果一个人现在的工作室商业智能和定量分析,并且在那之前表现出了先进的数学和统计建模能力,就可以成长为企业的数据科学家,为企业提供如预测建模和大数据等类似关键领域的指导与培训。
Roberts表示同意,专注于特定技能和学历。某些时候可能会成为潜在求职者思考的代理人。“他们正示图衡量的是‘你喜欢学习吗?’但一堆方法可以用来获取该结论”,她表示。在天才分析(Talent Analytics)公司的调查中,数据科学家的先天特性包括好奇心、创造力、客观、有条理地思考能力与对细节的专注力,她强调。Milanna和Spoelstra也同意该观点,他们寻找候选人的最重要的天然特质也包括好奇心、逻辑思维、常识力、毅力、实用性和良好的判断力。
毫无疑问对数据科学家的需求只会不断增长,但由于该角色相对新潮,随着时间的推移,数据科学家的定义只会变化更多,不管是这些专业人士的工作范围,还是企业组织、实现并发展所需人才的方法。
“对于处在IT行业、项目管理和产品管理的人士来说,这是一个巨大的发展机遇,他们不再害怕学习他们行业相关的知识,也不用担心开夜车来整理头绪、解决问题。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10