京公网安备 11010802034615号
经营许可证编号:京B2-20210330
关于机器学习有这十大误区,比如以为它不久后将变得超级智慧
机器学习过去往往发生在幕后:亚马逊通过挖掘你的点击和购买记录来给你推荐新物品;谷歌通过挖掘你的搜索来投放广告;脸书通过挖掘你的社交网络来选择给你展示不同的新鲜事。
然而机器学习现在已然登上了头版头条,成为了被热烈讨论的话题!机器学习算法可以驾驶车辆,可以翻译演讲,赢得危险边缘游戏(哥伦比亚广播公司益智问答游戏节目)!
我们不由自主会问:“他们到底能做什么不能做到什么?他们会是隐私、工作甚至是人类消失的开始呢?”大家对机器学习的关注固然很好,因为机器学习将会是塑造未来的主要推动力,但是这其中又有太多关于机器学习的错误观念,我接下去要做的第一步就是纠正这些错误的观念。让我们快速浏览一下那些错误观念。
机器学习只是在总结数据
事实上,机器学习的主要目的是预测未知。知道你过去看了什么电影只是一种推测你之后想看什么电影的方式;你的信用记录预示了你会否按时付账单。而对于机器人科学家,学习算法提出假设,改进假设,而只有假设提出的预测成真时才会相信这些假设。学习算法并不比科学家聪明,但却有比科学家百万倍快速的计算能力。
学习算法只是发现了事件之间的关联
这是你对媒体口中机器学习的第一印象。一个非常著名的例子就是,谷歌搜索中关于“流感”搜索的增加是流感流行的迹象。当然这没有错,但是大多学习算法可以发现更丰富的信息,例如如果痣有着奇怪的形状和颜色,并且在逐渐变大,那么这可能会是皮肤癌。
机器学习只能发现相关性,而无法发现因果关系
实际上,最流行的机器学习算法之一就是由尝试不同的行为之后观察行为的结果(本质上是发现因果关系)所组成的。比方说,电商网站可以尝试不同呈现商品的方式,然后选择其中能带来最高购买量的方式。你可能不经意间已经参与了成千次这种实验。因果关系甚至可以在一些无法进行实验只能通过计算机处理之前记录的数据的情形下被发现。
机器学习无法预测未见过的事件,也称作“黑天鹅”效应
如果某些事之前从未发生过,那么预测它发生的概率必然为零,不然呢?相反,机器学习很擅长高精度地预测稀有事件。如果A是B发生的原因,B又是C发生的原因,那么A可能导致C发生,即便我们从未见过其发生过。每一天,垃圾邮件过滤器可以标记出刚刚捏造而成的垃圾邮件(之前未出现过)。像2008年发生的房地产危机实际上是被广泛预测到了的,只不过不是那时大多数银行所使用的是有缺陷的模型而已。
你有越多的数据,你越可能得到错误的模式
试想,国家安全局查看了越多的电话记录,越可能把一个无辜的人标记为恐怖分子,因为他的通话记录正好匹配了恐怖分子检测的机制。对同一个体挖掘越多的属性是会增加误判的可能性,然而机器学习专家们是很善于把这种可能性降到最低的。另一方面,挖掘不同个体的同种属性可以降低误判风险,因为从中学习的规则有更多的依据。而且有些学习算法可以在不同个体之间找到某些模式,从而使检测机制更加稳定。也许某人拍摄纽约市政府的视频并不可疑,同时另外一个大量购买硝酸铵的人也不可疑;然而如果这两个人之间有电话联系,也许FBI就应该调查一下以保证他们之间不是在密谋爆炸袭击了。
机器学习无视现存的知识
许多被机器学习渗透的领域里的专家质疑像机器学习这样不需掌握任何领域知识的方法。真正的知识是一个长期推理与实验的过程中累积下的,你无法靠在一个数据库里跑一个原型算法而学到。但不是所有的学习算法都不使用领域知识;其中一些就会用数据去精炼已有的繁杂知识,使其变得十分精巧,进而呈现为计算机所能理解的形式。
计算机习得的模型人类无法理解
这自然会是一个引起人们关心的原因。如果一个学习算法是黑箱模型,那么我们怎么能相信它给出的推荐呢?某些模型却是非常难理解,比如给机器学习带来最大成功的深度神经网络(从youtube的视频里识别猫咪)。但其他大多模型都完全可以被理解,比如我们之前提到的诊断皮肤癌用到的方法。
以上所有的误解都是负向的,它们认为机器学习的能力比实际上更有限。以下的则是过于正向的错误观念:
越简单的模型越准确
这个观念有时来自“奥卡姆剃刀”,但只说了我们应该倾向于更简单的模型却没有给出原因。简单模型更可取是因为他们更易于解释和推理。但是有时与数据相容的简单假设比复杂模型更不准确。一些强有力的学习算法输出模型看起来毫无理由的复杂,甚至还会继续给复杂模型添加组件即便他们已经完美拟合了数据,但这也是它们比简单模型更准确的原因。
机器学习发现的模式可以直接被采纳
如果一个学习算法输出了一条诊断皮肤癌的规则,并且极其准确(任何符合这个条件的痣都是皮肤癌),这也不意味着你应该相信它。对于数据微小的改动都会导致算法输出同等精确却非常不同的规则。只有那些对于数据中随机扰动稳定的规则可以被相信,而不仅仅是作为预测的方式。
机器学习不久后会变成超级智慧
从每天人工智能发展的新闻来看,非常容易有一种感觉,计算机已经接近于像我们一样可以看,说话,推理;不久后就会把我们抛弃在尘土里了。我们在人工智能的第一个五十年走了条长路,机器学习是其近来成功的主要原因,然而我们还有很长的路要走。计算机可以非常好的完成特定的任务,却依然没有通用智能,也还没有人知道怎么去教它们。
好了,到这你已经知道机器学习有时比我们想象的更强力,有时却不那么好。如何使我们更好运用机器学习也取决于我们!我们要对它们有更准确的理解!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
为什么学习数据分析? 当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运 ...
2026-08-03CDA等级认证证书有效期为三年,三年进行一次年审,主要考察CDA持证人的职业发展情况;学历、工作单位及职业变更情况;继续教育 ...
2026-08-03【核心关键词】金融、岗位、企业、算法、知识、专业、理论、课程、软件、数据分析、业务类型、应用场景、经营管理、大型企业、 ...
2026-08-03在日常数据分析、业务报表复盘、业绩预测工作中,平均增长率是衡量数据长期变化趋势的核心指标,广泛用于营收增长、用户增长、销 ...
2026-08-03很多人把统计学理解为“一堆公式和计算”,却忽略了它的本质——一门让数据“开口说话”的科学。真正的数据分析高手,不是会算平 ...
2026-08-03在数据指标体系搭建工作中,从业者常困惑于指标搭建的核心逻辑:究竟是依托一线零散数据自下而上汇总指标,还是基于战略目标自上 ...
2026-07-31在数据分析、问卷研究、实验复盘、业务建模的工作中,大多数人最关注的是“用什么统计方法”:是做T检验、方差分析、卡方检验, ...
2026-07-31 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-07-31在问卷调研的数据分析流程中,“先检验信效度,再开展进阶统计分析”是通用的规范逻辑。很多从业者会听到“问卷效度高,后续可以 ...
2026-07-30【核心关键词】大数据、统计学、专业、毕业生、论文、课程、计算机、建模、知识、数据分析、机器学习、数据科学、大数据技术、 ...
2026-07-30 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-07-30在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29【核心关键词】岗位、数字化、经验、课程、方法论、决策、企业、大方向、数据分析、销售管理、理论知识、思维方式、分析销售、 ...
2026-07-28在问卷调研、用户分群、效果对比等业务数据分析中,分类变量的关联性与差异性验证是高频需求。卡方检验作为针对离散分类数据的经 ...
2026-07-28 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-07-28在Excel数据分析与报表制作中,数据透视表是快速完成多维度汇总、分组统计的核心工具。很多从业者在得到透视表汇总结果后,为了 ...
2026-07-27 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-07-27当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运转的核心动能、滋养人工 ...
2026-07-27