现正在的 AI 毕竟有没蓄认识？若何界说认识？AI 的行进宗旨是通过更好的数据标签来刷新监视研习，照旧大举进展自监视 / 无监视研习？正在 IEEE Spectrum 的比来的一次访讲中，图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 表达了己方的主张。

　　Yann LeCun 正在演讲时也曾放过一张法国大革命功夫的闻名画作《自正在劝导黎民》，并配文：「这场革命将是无监视的（THE REVOLUTION WILL NOT BE SUPERVISED）」。

　　正在比来经受 IEEE Spectrum 的访讲时，他讲到了自监视研习若何也许创设具备常识的重大人为智能体例。同时，他也比拟来的少许社区舆论楬橥了己方的主张，例如吴恩达对「以数据为核心的 AI」的附和、 OpenAI 首席科学家 Ilya Sutskever 关于而今 AI 可以具备认识的揣度等。

　　Q：您也曾说过，监视研习的局限有时会被误认为是深度研习本身的部分性所致，那么哪些局限能够通过自监视研习来造胜

　　A：监视研习异常合用于畛域真切的周围，正在这类周围中，你能够搜罗大宗记号数据，并且模子正在安排时代看到的输入类型和陶冶时应用的输入类型不同不大。搜罗大宗不带成见的记号数据诟谇常穷苦的。这里的成见不愿定是指社会成见，能够理会为体例不该应用的数据之间的闭连性。举个例子，当你正在陶冶一个识别牛的体例时，整个的样本都是草地上的牛，那么体例就会将草行为识别牛的上下文线索。云云一来，假使你给它一张沙岸上的牛的照片，它可以就认不出来了。

　　自监视研习（SSL）能够让体例以独立于工作的形式研习输入的杰出体现。由于 SSL 陶冶应用的是未标注的数据，以是咱们能够应用异常大的陶冶集，并让体例研习特别保守、无缺的输入体现。然后，再操纵少量的标注数据，它就能够正在监视工作上抵达杰出的本能。这大大削减了纯监视研习所需的记号数据量，并使体例特别保守、更也许管理与标注陶冶样本差此表输入。有时，它还会消浸体例对数据成见的敏锐性。

　　正在适用 AI 体例这一宗旨，咱们正朝着更大的架构迈进，即用 SSL 正在大宗未标注数据进取行预陶冶。这些体例能够用于各样各样的工作，例如用一个神经收集管理数百种说话的翻译，构造多说话语音识别体例等。这些体例能够管理数据难以获取的说话。

　　Q：其他领甲士物体现，AI 的行进宗旨是通过更好的数据标签来刷新监视研习。吴恩达比来讲到了以数据为核心的 AI，英伟达的 Rev Lebaredian 讲到了带有整个标签的合成数据。正在 AI 的进展途途方面，业界是否存正在不同？

　　A：我不以为存正在思念上的不同。正在 NLP 中，SSL 预陶冶诟谇常圭表的试验。它正在语音识别方面出现出了特出的本能擢升，正在视觉方面也变得越来越有效。然而，「经典的」监视研习仍有很多未经查究的利用，因而只须有可以，人们当然应当正在监视研习中应用合成数据。即使云云，英伟达也正在主动开垦 SSL。

　　早正在零几年的时间，Geoff Hinton、Yoshua Bengio 和我就确信，陶冶更大、更深的神经收集的独一方式即是通过自监视（或无监视）研习。也是从这时起，吴恩达入手对深度研习感有趣。他当时的管事也纠集正在咱们现正在称之为自监视的方式上。

　　Q：若何基于自监视研习修建拥有常识的人为智能体例？常识能让咱们正在构造人类智能秤谌的智能上走多远？

　　A：我以为，一朝咱们弄知道若何让呆板像人类和动物相似研习寰宇是若何运作的，人为智能必将会获得强猛进步。因而人为智能要学会查察寰宇，并正在此中采用手脚。人类懂得寰宇是若何运作的，是由于人类一经懂得了寰宇的内部模子，使得咱们也许增添缺失的讯息，预测将要产生的事件，并预测咱们手脚的影响。咱们的寰宇模子使咱们也许感知、解说、推理、提前筹备和手脚。

　　关于第一个题目，我的谜底是自监视研习（SSL）。举个例子，让呆板观察视频并暂停视频，然后让呆板研习视频中接下来产生事件的表征。正在这个经过中，呆板能够研习大宗闭于寰宇若何运作的配景学问，这可以雷同于婴儿和动物正在人命最初的几周或几个月内的研习形式。

　　关于第二个题目，我的谜底是一种新型的深度宏架构（macro-architecture），我称之为分层拉拢嵌入预测架构（H-JEPA）。这里很难细致解说，以上述预测视频为例，JEPA 不是预测视频 clip 的另日帧，而是研习视频 clip 的笼统表征和另日，以便能很容易地基于对前者的理会预测后者。这能够通过应用非比拟 SSL 方式的少许最新进步来实。