作者 | George Lawton

编译 | CDA数据科学研究院

大多数AI都基于模式识别，但是正如任何高中生都会告诉您的那样，关联不是因果关系。研究人员现在正在寻找方法，以帮助AI深入到更深层次。生活经验告诉我们，相关关系并不能直接推导出因果关系，但不管是日常生活还是学术研究，对于因果关系的解释要远比相关关系重要得多。很多时候，我们也会对事件之间的因果关系捉襟见肘。如果，把这个过程交给AI来处理会怎样呢？

AI可以利用深度学习技术来构建相关关系模型。深度学习技术通过关联数据点在构建模型方面做得很好。但是许多AI研究人员认为，需要更多的工作来理解因果关系，而不仅仅是相关性。现场因果深度学习（对确定某件事发生的原因很有用）仍处于起步阶段，并且自动化比神经网络困难得多。许多AI都是关于在大量数据中查找隐藏模式的。全球IT服务公司L＆T Infotech的执行副总裁兼首席数据分析官Soumendra Mohanty说：“显然，这方面将我们带向了“什么”，但很少有人去理解“为什么”。

这种区别的含义可能很重要。最终，要创造出模仿人类智能的机器，就需要训练AI来询问为什么一种观察会影响另一种观察。这就是为什么许多研究人员现在将注意力转向这个问题的原因。

加州大学洛杉矶分校（UCLA）教授朱迪亚·珀尔（Judea Pearl）激发了该领域的兴奋，他从事了一些实施贝叶斯网络以进行统计分析的形成性工作。最近，他一直在开发一个框架，用于绘制因果关系图，并在可计算框架中找出导致观察到的事件的因素。

分析因果关系的最大挑战之一是将范式更改为一种，其中专家对观察的原因提出主观意见，然后通过各种分析技术将其分开。这与统计机器学习所追求的更加客观的方法形成了鲜明的对比。从长远来看，因果关系研究可以为理解世界提供更好的模型。在短期内，因果分析将使解释机器学习模型为何能提供结果的原因变得更加容易。

克服魔术思维

Information Builders营销副总裁杰克·弗赖瓦尔德（Jake Freivald）说：“商业精英通常不相信黑盒子技术，但他们却对人工智能技术有着异乎寻常的期待。”他表示，企业家意识到将业务流程交给人工智能算法可能就像让他们两岁的孩子驾驶自己的汽车一样冒险。

问题在于分析和AI主要用于查找数据集中的相关性。由于关联仅暗示因果关系，因此这些关联无法帮助您理解发生某事的原因-如果无法做到，则只能告诉您接下来会发生什么的可能性。

弗赖瓦尔德说：“我们越能发现模型中的因果关系，在评估事情发生的原因和下一步将发生的事情时，我们就越能基于现实。” “在那之前，将我们的业务交托给AI模型可能会非常有效，直到失败为止，结果可能是灾难性的。”

超越曲线拟合

曲线拟合在回答“下一个最佳报价是什么？”、“这是欺诈吗？” 或“是猫吗？”等重要问题方面做得很好。莫汉蒂说：“但是，在现实世界中，有很多问题无法通过曲线拟合来解决。” 如果有几个因素可以预测对产品的偏爱，那么企业应该尝试影响哪个因素，以及重要性的顺序如何？简单地对不同变量的预测目标能力进行排名与选择独立预测变量并评估其对结果的相对贡献不同。

莫汉蒂说：“我们可以观察到相关性，但这并不能证明甚至暗示因果关系。” 因果关系回答的问题是“我应该拉什么杠杆来实现改变？” 或“如果我更改了模型的某些基本假设，将会发生什么？”

因果深度学习技术（也称为结构方程模型（SEM））已经存在了很多年。莫汉蒂说：“但是，这些技术或多或少地局限于学术界和研究领域，我们还没有看到这些技术可以转化为商业或商业用例。”

蒙特卡洛模拟，马尔可夫链分析，朴素贝叶斯和随机建模是当今使用的一些技术，但它们几乎没有涉及因果关系的表面。还有一些开源软件包，例如DAGitty（基于浏览器的环境，用于创建，编辑和分析因果模型），以及Microsoft的DoWhy库以进行因果推断。但是这些也在发展。

用AI灌装经验法则

自主库存管理系统制造商Pensa Systems的首席执行官兼总裁Richard Schwartz表示，在较高的层次上，AI应用程序会根据观察到的模式执行一系列操作。深度学习使用统计技术来发现模式。在因果关系中嵌入因果理解的另一种方法涉及开发基于规则的系统。这种方法从其他类型的客观事实中得出结论，例如“向右转3次与向左转相同”。

规则可以是因果关系的，也可以是认知的，可以帮助对输入的结果进行建模，但是它们也有缺点。Schwartz说：“因果规则很难被理解，即使您确实定义了因果规则，它们也会变得更加脆弱。”潜在的解决方案在于两种方法的结合-例如，为神经网络创建可解释性。这种类型的因果深度学习涉及以更加艰苦的方式建立关于如何得出结论的认知模型。

AI引起人们注意的另一种因果技术是一种强化学习，称为从示范学习(Learning from demonstration)。这种方法有效地显示了如何完成某事的计算机示例，并使计算机尝试使该技术适应其自身的问题解决方法。

Pensa在其库存管理工具中同时使用两种AI，以解决与在商店货架上重新库存库存有关的问题。该公司的主要产品使用神经网络来解释来自摄像机和货架上物品的计算机视觉输入（例如，亨氏番茄酱）以及货架的组织方式（例如，亨氏通常位于亨特的旁边）。

它还使用因果模型来生成自动提示，例如“ Heinz电量不足”或“ Heinz电量完全耗尽”。为了得出这个结论，系统不仅需要产品，还需要与货架上需要的物品以及重新库存的意义有关的规则。人们非常擅长认知结论，例如制定规则拇指，从而可以得出结论。Schwartz说：“ Pensa用AI来装瓶。”

无模型因果关系

德克萨斯大学奥斯汀分校的AI助理教授Scott Niekum表示，强化学习本质上是因果关系，因为代理会尝试不同的动作并通过反复试验来了解它们如何影响性能。这种类型的学习称为“无模型”学习，之所以流行，是因为它可以学习积极或有效的行为，而不必学习明确的世界运转模式。换句话说，它只是在学习行为与绩效之间的因果关系，而不是行为如何直接影响世界。例如，这可能涉及了解在不了解水与火之间的关系的情况下将整个水桶翻转到火上而将其扑灭的情况。

无模型学习是一把双刃剑。如果没有模型，则代理商可能必须从头开始学习如果问题完全改变时如何实现其目标。在较早的示例中，如果为代理提供了软管而不是一桶水，则不从头开始学习就不会知道该怎么做，因为它没有学习水与火之间的因果关系，而只是学习了这种关系在“翻转斗”动作和灭火目标之间。

Niekum说：“由于这些原因，尽管基于模型的强化学习有其自身的挑战，但人们对它的兴趣越来越大。例如，您如何衡量对模型的信心，当模型出错时该怎么办？试图跨越长远视野时，您会处理不确定性吗？”

解释ML模型

可解释性的核心思想是，解释必须能够识别和量化导致深度学习模型行为的所有因果关系。在这一点上，因果关系指的是模型功能本身，而不是模型要解决的任务，Fiddler Labs的数据科学负责人Ankur Taly说，该研究提供了可解释的AI引擎。

由于其复杂性，忠实地解释深度学习模型具有挑战性。这使得很难分析推理模型功能中每个功能的重要性。早期的因果深度学习方法通过在数据集上观察模型的预测，并为其拟合一个更简单，可解释的模型来获得解释，从而应对了这一挑战。塔利说：“不幸的是，这样的方法容易受到众所周知的从观测数据中推断因果关系的陷阱。” 人们无法从与模型相关的特征中分离出与模型预测真正相关的特征。

最近，出现了一组基于合作博弈的Shapley值的不同方法。这些方法使用反事实输入来探查模型。但是，Fiddler的研究发现，如果数据集存在偏差，那么大多数方法都可能导致偏差。塔利说，他们正在研究将模型解释与任何特定数据集分离的方法。这种研究可以帮助识别模型已学会依赖的虚假关联。例如，黑客最近展示了通过添加某些类型的数据来伪造Cylance反恶意软件引擎的功能。减轻此风险的一个好步骤是确定显着影响模型预测的因果特征。塔利说：“然后，人们可以研究这些功能，以检查它们是否也是任务的诱因，或者是否可以被对手利用，例如Cylance。”

教学AI迷信

如今，在指导深度学习过程建立因果关系建模方面，人类可以比AI做得更好。InformationBuilders的Freivald说。这可能涉及限制数据集，删除可能导致偏差的字段以及通常影响学习过程的过程。人类专注于因果关系，而算法则负责学习。有一个反馈回路，但人的方面至关重要。

如果可以通过AI工具确定因果关系，则AI可以塑造学习过程，而不是由人来做。从理论上讲，AI可以开始使用任意数据集，确定因果关系并以人类会完全忽略的方式应用学习。目前有很多问题。人类将通用智能应用于任务，而机器尚无法做到这一点。最近这样做的尝试造成了麻烦。弗赖瓦尔德说：“我们希望人工智能越通用，它就需要越多的数据，并且出现误报的可能性就越大-机器迷信。”