尽管深度学习在人工智能领域做出了巨大贡献，但它还是有一个不太好的地方：它需要大量数据。这是深度学习的先驱者和批评家都同意的一件事。实际上，由于有用数据的有限可用性有限以及处理该数据的计算能力不足，深度学习直到几年前才成为领先的AI技术。

减少深度学习的数据依赖性是目前AI研究人员的首要任务之一。

在AAAI（ the Association for the Advance of Artificial Intelligence ）会议上的主题演讲中，计算机科学家Yann LeCun讨论了当前深度学习技术的局限性，并提出了“自我监督学习”的蓝图，这是他解决深度学习数据问题的路线图。LeCun是深度学习的教父之一，也是卷积神经网络（CNN）的发明者，而CNN是在过去十年中引发人工智能革命的关键因素之一。

自监督学习是创建数据高效人工智能系统的几种计划之一。在这一点上，很难预测哪种技术将成功引发下一次AI革命。

深度学习的局限性

首先，LeCun澄清了一个问题，通常所说的深度学习的局限性实际上是监督学习的局限性。监督学习是一类需要标注训练数据的机器学习算法。例如，如果你想创建一个图像分类模型，你必须在大量的已经用适当的类进行了标记的图像上训练它。

深度学习不只是神经网络，它是通过将参数化的模块组装到计算图中来构建系统的，你可以不直接对系统进行编程。你定义架构，然后调整的那些些参数，深度学习可以应用于不同的学习范式，包括监督学习，强化学习以及无监督或自我监督学习。

但是，围绕深度学习和监督学习的困惑并非没有道理。目前，已进入实际应用的大多数深度学习算法都基于监督学习模型，这充分说明了AI系统当前的缺点。我们每天使用的图像分类器，面部识别系统，语音识别系统以及许多其他AI应用程序已经在数百万个带有标签的示例中进行了训练。

到目前为止，强化学习和无监督学习是学习算法的其他类别，其应用非常有限。

深度学习今天站在哪里？

有监督的深度学习给了我们很多非常有用的应用，特别是在计算机视觉和自然语言处理的一些领域。深度学习在诸如癌症检测等敏感应用中有发挥着越来越重要的作用。它也被证明在一些领域非常有用，在这些领域，问题的复杂性已经超出了人类努力的范围，例如在每天审查社交媒体上发布的大量内容时需要注意的一些问题。

但如前所述，监督学习仅适用于有足够高质量数据且数据可以捕获所有可能场景的情况。一旦经过训练的深度学习模型面对不同于其训练示例的新颖示例，它们就会开始以不可预知的方式表现。在某些情况下，从一个稍微不同的角度显示一个对象可能足以混淆一个神经网络，使之误认为它与其他东西。

深度强化学习在游戏和模拟中显示出显著成果。在过去的几年中，强化学习已经征服了许多以前认为不能融入人工智能的游戏。人工智能程序已经淘汰了《星际争霸2》，《刀塔》和中国古代棋盘游戏《围棋》中的人类世界冠军。

但是这些AI程序学习解决问题的方式与人类完全不同。基本上，强化学习代理从空白开始，仅提供在其环境中可以执行的一组基本操作。然后，让AI自己进行尝试，通过反复试验来学习如何产生最大的回报（例如，赢得更多的游戏）。

当问题空间很简单并且你具有足够的计算能力来运行尽可能多的反复试验时，该模型就可以使用。在大多数情况下，强化学习代理会花费大量的时间来掌握游戏。巨大的成本将强化学习研究限制在富裕的科技公司或拥有资助的研究实验室内。

强化学习系统在迁移学习中表现得很差。一个在大师级玩星际争霸2的机器人如果想玩魔兽争霸3，需要从头开始训练。事实上，即使星际争霸游戏环境的微小变化也会极大地降低人工智能的性能。相比之下，人类非常擅长从一个游戏中提取抽象概念并将其转移到另一个游戏中。

当强化学习想要学习解决现实世界中无法精确模拟的问题时，它确实显示出它的局限性。如果你想训练汽车自己驾驶呢？很难精确地模拟这一过程，如果我们想在现实生活中做到这一点，我们就必须摧毁许多汽车。而且与模拟环境不同，现实生活不允许你快速进行实验，如果可能的话，并行实验将导致更大的成本。

深度学习的三个挑战

LeCun将深度学习的挑战分为三个领域。

首先，我们需要开发可以通过更少的样本或更少的试验学习的AI系统。LeCun说：“我的建议是使用无监督学习，或者我更喜欢将其称为自我监督学习，因为我们使用的算法确实类似于监督学习，它基本上是学习填补空白。”。这是在学习任务之前学习代表世界的理念。婴儿和动物就是这样做的。我们在学习任何任务之前先了解世界如何运转。一旦我们对世界有了良好的描述，学习一项任务就需要很少的试验和很少的样本。

婴儿在出生后的几个月里就会发展出重力，尺寸和物体持续性的概念。虽然人们对这些能力中有多少是硬连接到大脑中的，有多少是学习到的还存在争议，但可以肯定的是，我们仅仅通过观察周围的世界就发展出了许多能力。

第二个挑战是创建可以推理的深度学习系统。众所周知，当前的深度学习系统在推理和抽象上很差，这就是为什么它们需要大量数据来学习简单任务的原因。

问题是，我们如何超越前馈计算和系统1？我们如何使推理与基于梯度的学习兼容？我们如何使推理具有差异性？

系统1是不需要主动思考的学习任务，例如导航已知区域或进行少量计算。系统2是一种较为活跃的思维方式，需要推理。事实证明，象征人工智能（AI的经典方法）在推理和抽象方面要好得多。

但是LeCun并不建议像其他科学家所建议的那样回到象征性AI或混合人工智能系统。他对人工智能未来的愿景与另一位深度学习先驱Yoshua Bengio更为一致，Yoshua Bengio在NeurIPS 2019引入了system 2深度学习的概念，并在AAAI 2020进一步讨论了这一概念。然而，LeCun承认没有人有一个完全正确的答案，但是这种方法会将使深度学习系统能够推理。

第三个挑战是创建深度学习系统，该系统可以精简和计划复杂的操作序列，并将任务分解为子任务。深度学习系统擅长为问题提供端到端的解决方案，但很难将它们分解为具体的可解释和可修改的步骤。在创建基于学习的人工智能系统方面已经取得了一些进展，该系统可以分解图像、语音和文本。Geoffry Hinton发明的胶囊网络就是其中之一并且解决了其中一些挑战。

但是学会推理复杂的任务已经超出了当今的人工智能。LeCun承认我们不知道如何做到这一点。

自我监督学习

自我监督学习背后的想法是开发一种可以学习填补空白的深度学习系统。

你向系统显示输入，文本，视频甚至图像，然后选择其中的一部分，将其屏蔽，然后训练神经网络或您喜欢的类或模型来预测缺失的部分。这可能是视频处理的未来，也可能是填补文本中缺少的单词的方式。

我们最接近自我监督学习系统的是Transformers，该体系结构已在自然语言处理中被证明非常成功。Transformers不需要标记的数据。他们接受过大量非结构化文本的培训，例如Wikipedia文章。在生成文本，进行对话和回答问题方面，他们已被证明比之前的系统要好得多，但是他们距离真正理解人类语言还有很远的距离。

Transformers已经非常流行，并且是几乎所有最新语言模型的基础技术，包括Google的BERT，Facebook的RoBERTa，OpenAI的GPT2和Google的Meena聊天机器人。

最近，AI研究人员证明了Transformers可以执行积分并求解微分方程，这是需要符号操纵的问题。这可能暗示着Transformers的发展可能使神经网络超越模式识别和统计近似任务。

到目前为止，Transformers已经证明了在处理谨慎的数据（例如单词和数学符号）方面的价值。训练这样的系统很容易，虽然可能遗漏哪个单词，存在一些不确定性，但是我们可以用整个字典中的巨大概率矢量来表示这种不确定性，所以这不是问题。

但是，Transformers的成功尚未转移到视觉数据领域。事实证明，在图像和视频中表示不确定性和预测要比在文本中表示不确定性和预测要困难得多，因为它不是离散的。我们可以产生字典中所有单词的分布，但我们不知道如何表示所有可能的视频帧的分布。

对于每个视频片段，都有无数可能的未来。这使得人工智能系统很难预测一个单一的结果，比如视频中接下来的几帧。神经网络最终会计算出可能结果的平均值，从而导致输出模糊。

如果要将自我监督的学习应用于视频等多种形式，这是我们必须解决的主要技术问题。

LeCun最喜欢的用于监督学习的方法就是他所说的“基于能量的潜在变量模型”。关键思想是引入一个潜在变量Z，该变量Z计算变量X（视频中的当前帧）和预测Y（视频的未来）之间的兼容性，并选择具有最佳兼容性得分的结果。LeCun在演讲中进一步阐述了基于能量的模型和其他自我监督学习方法。

深度学习的未来不受监督

“我认为自我监督学习是未来。这将使我们的AI系统，深度学习系统更上一层楼，也许可以通过观察来了解有关世界的足够背景知识，从而可能出现某种常识。” LeCun在AAAI会议演讲中说。

自我监督学习的主要好处之一是AI输出的信息量巨大。在强化学习中，训练AI系统是在标量级别执行的；该模型会收到一个数值作为对其行为的奖励或惩罚。在监督学习中，AI系统为每个输入预测一个类别或数值。

在自我监督学习中，输出将改善为整个图像或一组图像。这是更多的信息。了解有关世界的相同知识，您需要的样本更少。

我们仍然必须弄清楚不确定性问题是如何工作的，但是当解决方案出现时，我们将解锁AI未来的关键组成部分。

如果说人工智能是一块蛋糕，那么自我监督学习就是其中的主要内容。人工智能的下一轮革命将不会受到监督，也不会得到纯粹的加强。

原文链接： https://bdtechtalks.com/2020/03/23/yann-lecun-self-supervised-learning/