京公网安备 11010802034615号
经营许可证编号:京B2-20210330

作者:William Vorhies
CDA数据分析研究院原创作品, 转载需授权
2018年刚刚结束,在2019年到来之际,让我们一起展望在今年数据科学、机器学习和人工智能领域会有怎样的发展趋势。
首先让我们快速回顾一下,去年我们曾做出了哪些预测。
2018年预测回顾
预测1
模型生产和数据准备都将越来越自动化。
大型的数据科学操作将集中在一个平台上。这两种趋势都是为了提高效率,从而让更少的数据科学家完成更多工作。
结果
预测正确。 无代码数据科学和端对端集成平台都处于上升发展阶段。
预测2
数据科学将继续专业化,意味着全栈型数据科学家将消失。
结果
是的。如今比起数据科学家,数据工程师更受关注。数据工程师是那些让数据科学模型在现实中发挥作用的人。
预测3
非数据科学家将比数据科学家执行更多复杂的分析。
结果
这是真的。Data Viz和Visual Analytics等技术作为桥梁,让非数据科学家能够从复杂的数据科学工具中获取更多价值。
预测4
深度学习很复杂。很少有数据科学家掌握刚领域的技能,这将阻碍人工智能的应用,直到深度学习平台得到更为简化和产品化。
结果
微软和谷歌都在2018年推出了自动化深度学习平台。这些平台从转移学习开始,但正朝着完整自动化深度学习发展。同时也还有一些集成自动深度学习平台。OneClick.AI有完整的自动化机器学习和自动化深度学习平台。
预测5
尽管有大肆宣传和炒作,但人工智能和深度学习在各大市场中渗透的速度和广度都比你想象更慢更窄。
结果
除了聊天机器人的出现,人工智能在商业中的实际应用非常有限。他们来了,但还没有。在我知道最全面的研究表明,在大型公司中,只有五分之一到三分之一的公司在大规模实施人工智能。在较小的公司中,这个比例要小得多。而且我们不确定哪些是否是“真正的”人工智能。
预测6
政府将开始认真看待人工智能对社会和隐私的影响,无论是有意的还是无意的。
结果
只要看到这方面的新闻就会发现,政府在针对这方面出台相关的监管机制。对人工智能设计的隐私等方面进行规定。
我们队2018年的预测基本正确,当中有些预测趋势也可以用于新的一年,下面继续看到对2019年数据科学、机器学习和人工智能领域的预测。
2019年预测
预测1:
数据变得比算法更重要
我们已经有一年多美元在深度学习和机器学习方面取得任何重大突破了。当中也有一些渐进式的改进,比如使用时间卷积网(TCN)而不是RNN来减少NLP的延迟,但没有很大的新创新。性能最佳的算法很有名,或者可通过自动机器学习轻松发现。
目前,随着公司开始实现数字化转型,拥有更多更好的数据是成功的关键。实际上,这为同时想多个方向提供数据相关解决方案的提供了竞争机会。
一个方面,获得准确标记的图像或文本的训练数据仍然非常昂贵且耗时。Figure Eight这样专注于标记数据的公司正在推广智能的成本效益策略,比如Active Learning,让你在标记数据和模型准确性之间取得最佳权衡。这涉及多次迭代,添加人工标记或机器标记的数据,然后重新训练以找到最佳方案。
第二个方面是访问第三方数据。像DymstData这样的服务公司已经进入该领域,作为数百种附加数据的结算方。他们还承担着确保敏感PII受到保护等服务,这些信息在金融和医疗服务中尤为重要。
第三个方面是自动跟踪并记录模型中使用数据的来源。特别是当不同来源的流数据被集成,且随时间变化时,知道其来源以和使用方式对准确性和合规性都是至关重要的。Tibco和其他分析平台正在整合此功能。
围绕数据的服务产品在今年将大幅扩展。
预测2:
随着人工智能和机器学习从分析平台转移到行业或流程特定应用,一切将变得更容易。
纵观人工智能和机器学习创业公司,可以看到竞争正在转向行业或流程特定的应用。这些应用程序或小型平台主要解决市场营销、B2B销售、医疗保健、金融技术等行业特定问题。
这些新应用程序专注于嵌入人工智能和机器学习,从而企业在进行更新和改进时,只需依赖这些开发人员,而无需大型内部数据科学家团队。
有人将这称之为人工智能和机器学习商品化,但更准确地说,你可以将其视为人工智能和机器学习的专业化。
如果你熟悉90年代后期从流程再造(Reengineering)到企业资源计划(ERP)的过渡,其实这是一回事。最初,流程再造呼吁公司使用复杂的定制IT解决方案来改进流程,因为当时还不存在标准化解决方案。这为Oracle、PeopleSoft、SAP等采用集成ERP的企业带来了机遇。我们的行业目前正在经历同样的变化。
这些新的企业都致力于在各自特定领域提供广泛的解决方案,但不可避免地最终得到不太大的ERP规模平台。
还要注意中小型公司中人工智能和机器学习的采用率,这些公司不再需要大型数据科学团队,而可以完全依赖定制的开发模型。
预测3:
数据工程师和数据分析师的崛起
这并不是说数据科学家以及不受欢迎了,远非如此。当你缺乏某种技能时,市场会以不同的方式填补这种短缺。
一种方法是通过上文讨论的行业和流程特定智能应用,这些应用程序不需要大量的内部数据科学家。
第二种方法是自动机器学习平台在迅速涌现。这意味着效率的提高,更少的数据科学家能够完成更多的工作。
模型的数量没有减少,而是增加了,这将工作负荷转移到具备两方面技能的数据工程师上。
第一是能够创建数据科学所需的基础架构,如数据湖和Spark实例。
第二是采用模型,确保模型在操作系统中实现,并跟踪模型的准确性和更新。
一些数据工程师还负责数据操作,确保数据流干净和预处理环节。
分析平台的另一个发展是视觉分析和数据可视化工具的发展。如今,这些工具大多与数据科学工具集完全集成,让数据分析师和高层能从中提取更多价值,甚至指导分析工作。他们不会取代数据科学家,但强化了高级分析中的团队作用。
预测4:
神经形态芯片:人工智能与物联网走向前沿
两种不同的技术同时达到半成熟阶段,从而解决长期存在的延迟问题。
例如,当你想用移动设备自动将文本或图像外来词翻译成其他语言时,你的设备将信号发送到云端进行翻译,然后传回设备。
谷歌等即时翻译服务已经从RNN转为专门的CNN结构,称为时间卷积网,因为RNN 不能很好地适应大规模并行处理,而CNN可以。这样能够减少延迟,但仍然保证信号的完整传输。
解决这个问题的两种技术之一是5G网络。5G速度更快,但其真正的好处是能够承载的流量密度。这能够让一切信息都能在互联网上传输,具体的传输量还有待观察。
第二种解决方案是引入新的且更好的神经形态芯片(又称脉冲神经网络)。我们希望这些全新的神经网络能够实现通用人工智能,虽然这还有很长的路要走。
如今,主要的芯片制造商和几家初创公司都在发布现在正在发布脉冲神经芯片,专门针对芯片上的CNN和RNN型号进行了优化。其中一些还针对极低功耗进行了优化。
这些特性结合在一起非常适合将深度学习转移到网络边缘的芯片上。从今年开始,随着这些新功能的出现,物联网和其他流媒体数据应用程序将出现爆炸式增长。
预测5:
不同的人工智能框架将学会相互交流
现在,文本、语音、图像和视频模型已成为主流,我们遇到了意想不到的障碍。在一个框架(Caffe2、PyTorch、Apache MXNet、Microsoft Cognitive Toolkit和TensorFlow)上构建的模型无法轻松移植到不同的框架。
幸运的是,这个痛点推动了创新。AWS、Facebook和Microsoft合作构建了开放式神经网络交换(ONNX),使模型可以在不同的框架上实现互操作。
随着开发人员、应用程序和设备之间共享的模型数量越来越多,ONNX将成为今年的关键技术。
以上就是2019年数据科学、机器学习和人工智能领域的相关预测。让我们拭目以待,期待这些领域在今年的发展和创新。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心价值,早已超越单纯的数据清洗与统计分析,而是通过数据 ...
2026-03-06在教学管理、培训数据统计、课程体系搭建等场景中,经常需要对课时数据进行排序并实现累加计算——比如,按课程章节排序,累加各 ...
2026-03-05在数据分析场景中,环比是衡量数据短期波动的核心指标——它通过对比“当前周期与上一个相邻周期”的数据,直观反映指标的月度、 ...
2026-03-05数据治理是数字化时代企业实现数据价值最大化的核心前提,而CDA(Certified Data Analyst)数据分析师作为数据全生命周期的核心 ...
2026-03-05在实验检测、质量控制、科研验证等场景中,“方法验证”是确保检测/分析结果可靠、可复用的核心环节——无论是新开发的检测方法 ...
2026-03-04在数据分析、科研实验、办公统计等场景中,我们常常需要对比两组数据的整体差异——比如两种营销策略的销售额差异、两种实验方案 ...
2026-03-04在数字化转型进入深水区的今天,企业对数据的依赖程度日益加深,而数据治理体系则是企业实现数据规范化、高质量化、价值化的核心 ...
2026-03-04在深度学习,尤其是卷积神经网络(CNN)的实操中,转置卷积(Transposed Convolution)是一个高频应用的操作——它核心用于实现 ...
2026-03-03在日常办公、数据分析、金融理财、科研统计等场景中,我们经常需要计算“平均值”来概括一组数据的整体水平——比如计算月度平均 ...
2026-03-03在数字化转型的浪潮中,数据已成为企业最核心的战略资产,而数据治理则是激活这份资产价值的前提——没有规范、高质量的数据治理 ...
2026-03-03在Excel办公中,数据透视表是汇总、分析繁杂数据的核心工具,我们常常通过它快速得到销售额汇总、人员统计、业绩分析等关键结果 ...
2026-03-02在日常办公和数据分析中,我们常常需要探究两个或多个数据之间的关联关系——比如销售额与广告投入是否正相关、员工出勤率与绩效 ...
2026-03-02在数字化运营中,时间序列数据是CDA(Certified Data Analyst)数据分析师最常接触的数据类型之一——每日的营收、每小时的用户 ...
2026-03-02在日常办公中,数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法(Finite Element Method, FEM)作为工程数值模拟的核心工具,已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代,“以用户为中心”已成为企业运营的核心逻辑,而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA(Certifi ...
2026-02-28在Python面向对象编程(OOP)中,类方法是构建模块化、可复用代码的核心载体,也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中,索引是提升查询效率的核心手段—— 面对千万级、亿级数据量,合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27