首页 > 科技快讯 > 对话图灵奖得主、CNN之父Yann LeCun：我在中国看到了AI研究热潮

对话图灵奖得主、CNN之父Yann LeCun：我在中国看到了AI研究热潮

晰数塔互联网快讯
2021-08-24 08:11

卷积神经网络（Convolutional Neural Networks，简称 CNN）在最近这些年的深度学习领域可谓锋芒毕露，成为计算机视觉、语音识别等众多人工智能应用底层的基石，图灵奖得主杨立昆（Yann LeCun）便是它的重要奠基者之一。被誉为“卷积神经网络之父”的杨立昆，早在1998年，人工智能发展的第二次冬春交替之际，便创造出卷积神经网络的雏型：LeNet-5，为识别支票、数字之类的人工智能应用带来了突破性的进展。

当今，以机器学习、深度学习等为基础的智能系统逐渐渗透人们的生活，杨立昆认为，人们应当了解这些技术是如何实现和发展的。因此，他决定用通俗易懂的语言来解释人工智能领域的现状与最新进展，希望在科普的同时激发年轻人对于科学和研究的兴趣，《科学之路：人，机器与未来》一书由此诞生。

但与此同时，杨立昆直言人工智能还面临很多的未知，这些未知也影响到了自动驾驶等重要应用在近期的普及。本期《新程序员》，CSDN副总裁邹欣对话“卷积神经网络之父”杨立昆，邀请他分享多年来在人工智能领域取得卓越学术成就和工程突破的经验之谈，以及对行业人才的建议和忠告。

01 “很多想法是在技术成熟之前就诞生的”

邹欣：是什么激发你写《科学之路：人，机器与未来》这本书的？你想在这本书中传达的核心思想是什么？

杨立昆： 有几个原因。首先，我认为公众对学习人工智能有很大的需求，因为人工智能正在影响我们的生活，人们应该知道这些技术是如何起作用的。我试着站在高中生及大学生的角度上思考，想象他们想要了解哪些关于世界和科技世界的一切。同时，我也一直在寻找能用通俗易懂的语言解释人工智能或其他领域的最新发展的书，所以我认为这是一种需求。我看到很多年轻人对这个领域充满热情，我希望能够激励年轻人对科学和研究的兴趣。尤其是在中国，我看到了人工智能研究的热潮。每次我去中国总是有很多年轻人对这个话题非常积极和着迷。所以，需要向他们解释AI是如何运作的。

这本书不止是面向年轻人，更是向公众和任何对AI感兴趣的人的科普，他们不需要明白数学原理也可以看懂。书中第一部分是关于历史背景的，里面有一点自传，主要讲述我刚进入这个领域时如何形成自己的思想；中间部分真正解释了关于现代人工智能、深度学习、神经网络等技术。例如我们一直在使用的底层应用程序是如何运作的，这部分有点技术性；后面的部分是关于未来的，主要讲述AI和相关的应用将如何发展。

邹欣：在你研究生涯的早期，神经网络这个想法遭到很多人的质疑，也没有出现有说服力的应用。但是你仍然坚持研究，这有什么秘诀？

杨立昆： 神经网络和深度学习花了很长时间才站到了台前。部分原因是当这些想法出现在20世纪80年代末90年代初时，可获得的数据集并不多、应用程序很难部署、计算机不够强大，很多缺失的技术当时还没有弄清楚，所以只能放弃了。直到2010年初，因为出现新的方法、更大的数据集，深度学习有了最好的神经网络算法，还有了更快的、带有GPU的计算机，深度学习才重新回到人们的视野。

然而在20世纪八九十年代，你必须有一个高端的UNIX工作站才能有更大的内存。但那时候没有摄像头，很难采集图像，也没有便携数码相机，只能拍照、扫描，或者购买非常昂贵的设备。所以当时几乎没有任何图像数据集，有一些字符的图像是因为有扫描仪，基本上只有手写字符图像和语音的大数据集，仅此而已。直到互联网的出现和数码相机的普及，这些数据集才开始出现。

当时我们得到的数据集大约也9000个样本，其中2000个用于测试，7000个用于训练。对我们来说，这是当时见过的最大数据集，已经能够去做训练。后来，我们还得到了一个更大的数据集，有60000个样本。这就是当时能收集到的最大的数据集了。

所以，如果你真的相信一个概念，认为一个想法很有价值，就应该努力追求它，尽管可能要等到看到成绩后，人们才会支持这个想法。所以，很多想法真的是在技术成熟之前就诞生的。

邹欣：詹姆斯·格雷（James Gray，1998年图灵奖得主，著名数据库专家）曾说过：“很多伟大的研究论文一开始都被拒绝了”，在这种情况下，他的建议只有“重新给会议或刊物投稿”。你认为除了重新提交论文，研究人员还能做什么？

杨立昆： 这让我想到了一个和arXiv有关的例子。arXiv是康奈尔大学运营维护的一个非盈利的预印本数据库。业内有个惯例，为了防止自己的项目或想法在论文收录前被剽窃，大家会将预稿上传到arXiv作为预收录，上传的时间戳用于证明论文原创性，然后才会提交给会议或期刊；有时甚至不需要提交到会议或期刊，有些论文的arXiv版本就非常成功。这当中有大量的例子，其中一个例子是大约在两年半前，我的朋友在谷歌发布了一篇和预训练自然语言处理系统有关的BERT的论文，那篇论文仅仅还是arXiv版本就得到了六百多次引用。所以当他正式发布论文时，十几个不同的团队已经复现了相同的结果，他们在自己的版本中甚至还做了改进。

现在的科学界交流已经变得开放和快速，加速了科学的进步，这是一件好事。二三十年前我们没有任何其它传播论文的方式，除非把它们发表在大会或期刊上。在那个时候，如果没能发布在会议上，什么用都没有。所以我认为现在是一个完全不同的世界，我们的科学交流，自己发表就是一个有效的解决办法。

02 自动驾驶技术仍在发展中，远未成熟

邹欣： 如今智能汽车实现自动驾驶过程中也需要用到深度学习等技术，但外界有声音指出“不相信人工智能控制汽车”，你认为自动驾驶技术需要经历哪些阶段的发展？

杨立昆： 即使已经取得了不俗的成绩，但我还是得提醒一下，以免信心太过膨胀。2019年汽车的辅助驾驶系统得到了极大的发展，但全自主模型仍在试验中，大多时候仍需要有人坐在副驾驶进行监视。目前科学界有以下两种辩论的声音。

“全部学习”的支持者 ：相信端到端训练的深度学习系统，为了对系统进行训练，可以将它的输入端插到汽车的摄像头上，将输出端插在踏板和方向盘上，然后让系统长时间地（如几千个小时）观看学习人类驾驶员的行驶；

混合方案的支持者： 认为应该将问题分开，将感知环境的深度学习系统与其他事先安装且基本由人工编程的详细地图的线路规划模块相关联。

个人认为，自动驾驶系统将经历以下三个阶段。

第一个阶段： 系统的很大一部分功能由人工编程，深度学习仅被用于感知；

第二个阶段： 深度学习的重要性逐步提升，并占据重要的地位；

第三个阶段： 机器具备足够的常识，驾驶技术比人类更可靠

邹欣：目前有哪些自治与混合系统的案例可以分享？与卷积神经网络技术有哪些应用关系？

杨立昆： 有一家以色列公司Mobileye，是第一批市场化的辅助驾驶功能系统的公司之一，后来该公司被英特尔收购。2015年，Mobileye为特斯拉提供了基于卷积网络的几乎全自动的高速公路驾驶视觉系统，配备在了特斯拉的Model S上。

而当时为了提高自动驾驶系统的可靠性，多家支持“混合”方法的公司利用“作弊”的方式简化了感知和决策问题。他们使用非常详细的路线图，列出所有地面标记和其他预先记录的标志，再结合GPS和高精度的汽车定位评估系统，使得车载系统不止能识别车辆和移动体，还可以识别不可预见的障碍物（如道路工程）。这些系统都利用卷积网络进行感知：定位可穿越区域、检测车道、汽车、行人、自行车、施工和各种障碍物。通过向它们展示成千上万的类似数据，使它们接受到各种道路条件的训练，并学会辨识这些物体，即使物体的某一部分被其他物体掩盖也能识别到。

混合系统方面，Alphabet（字母控股，谷歌母公司）旗下子公司Waymo一直在旧金山地区进行无人驾驶汽车试验。Waymo采用了混合系统，配备了一系列复杂的传感器如毫米波雷达（Radar）、激光雷达（Lidar）、照相机等，以及基于卷积网络的视觉识别和规划的经典方法、人工编程的驾驶规则、精确显示限速标志的详细地图、人行横道、交通信号灯等等，这些技术的结合使汽车能够精确定位自身，识别移动物体并发现不可预见的事件。

邹欣：你认为何时才能实现完全自治的自动驾驶？

杨立昆： 研究人员仍然在利用端到端的训练，使系统通过模仿人类驾驶员来学习。虽然系统还没有达到人类驾驶员的水平，但汽车已经可以轻易在乡村道路上行驶半个小时。只是还无法完全自动驾驶，驾驶员仍需要时不时地接管车辆。

如果我们有可以预测汽车周围即将发生的情况及其动作后果的模型，那么汽车就可以更快更好地训练，但目前的技术还没有到达这个地步。简而言之，辅助驾驶系统已经存在并且发挥了巨大的作用，但自动驾驶汽车技术仍在发展之中，远远没有完善成熟。当然，我们也需要区分半自动驾驶和自动驾驶。在半自动驾驶的过程中，驾驶员即使不做任何事情，也要持续地留意行驶状况，而自动驾驶下，系统可以在没有监督的情况下驾驶汽车，无需人工干预。在我们的私家车能够在城市街头实现自动驾驶之前，这些技术仍需慢慢地进步。

03 突破性的成就，需要由雄心勃勃的长期研究驱动

邹欣： 你对所谓的“创新者困境”有什么看法？很多公司实际上是通过创新走上顶峰的，但之后他们的行动就会非常保守，虽然公司领导依然号称要创新。所以，结合你在Facebook至今的经历，是否考虑过，如果我们成为主导者，会不会重复同样的模式？

杨立昆： 有一种现象，就是小公司往往比大公司更渴望和更有创新精神，但缺乏资源来创新。所以，过去在西方尤其是在美国，能让公司在科学技术领域留下印记的（如晶体管的发明、激光等），可能数得上的有贝尔实验室、IBM研究所、施乐帕克研究中心、通用电气等公司。其共同点是这些公司和研究实验室都属于非常大的组织，不需要为生存发愁，只有在这样的条件下，才能负担得起长期的研究、取得真正的突破。反过来说，在没有研究实验室的情况下经营一家公司，也可会能得到技术上的增量改进，但并不会带来突破性的革命。如今问题在于，当公司变得足够大时，却可能会选择不进行基础研究，他们对创新的态度逐渐变得保守。所以，这完全取决于公司的领导层是否有技术创新和进步的愿景。

我认为很多能在硅谷或西海岸获得成功的公司，基本上源自领导对技术创新有一些了解。例如，“什么是可能的，什么是不可能的”、“十年后的世界大趋势会是怎样的？”能看到一些类似的中国大型企业也非常注重创新，如华为在5G技术领域有非常重的份量，且它大规模投资的技术创新远远领先于其他任何5G企业，所以我认为这是领导层的远见使然。但在20世纪80和90年代，一些公司倾向于在管理层招来更多的管理人员和商业人员而非技术人员，这就使事情变得很糟，就像施乐帕克研究中心，因为没有意识到自己掌握了计算机革命的主动权，而以为研究的新成果是在跟自己的成熟产品竞争。所以我觉得，想要获得成功的公司需要由一个对技术的发展有远见的人来掌舵。

邹欣：像施乐帕克研究中心这样的研究机构离总部很远，所以他们有自由去做很多颠覆性的创新。但不知何故，企业领导层就是不能把它和下一个盈利点联系起来。那么对于科学研究来说，这是好事吗？

杨立昆： 是的，有时会有“象牙塔现象”：研究实验室有时会完全与主公司隔离，从事着有趣的科学研究，但和主公司却没有直接联系。通常这种情况不会持续很长时间，因为公司会说：“为什么我们要把这些钱用在不可以利用的研究上？”所以要非常小心。我在Facebook尝试做的一件事是，建立一个可以进行非常广泛研究的实验室，可以做一些长远的、偏理论的、有野心的研究。所以没有人问我们这个问题：“为什么我们要把所有的钱投资在这些研究上？”因为很明显，这是科学。

邹欣：你在法国学习，然后搬到加拿大，而后在美国东西海岸之间来回。所以你应该有很多和北美、法国和亚洲的研究人员合作的经验。那么，这些不同的研究团体中各自有什么独特的风格？

杨立昆： 有又没有。科学就是科学，它是一个通用的语言。所以你去任何会议，都会看到来自各个国家的人，通常他们在本国完成一部分的学业，去另一个国家进行深造，然后又在第三个国家工作。所以说，科学界是有非常多文化融合的。

某些国家确实有不同风格，不过我没有在中国看到特定的风格，因为中国是如此之大且多样化，你会看到很多不同的东西。我认为年轻学生的文化已经发生了很大的变化。行事方式会受到成长的文化、就读的学校等因素影响，但随着年龄的增长，大家会有自己的想法。所以，在中国的年轻人身上，可以发现一些相似的文化。同样地，一直在法国、美国、日本、韩国、中东或非洲、东欧接受教育的年轻人也有另外的非常不同的文化。比方说在法国、俄罗斯和以色列，非常注重数学和理论；在美国，人们非常强调创造性，而不需要对理论做太多的研究，因为你可以依赖其他人来做理论。我不能笃定地称之为“普遍现象”，但我的确观察到了。

就像因为美国的研究环境鼓励大胆探索，这使得它容易诞生一些新的想法和行为方式等。我认为，今天在中国看到的，是一个非常快速的进步和从应用到研究的演变。例如，很多计算机视觉会议基本上都是由来自中国的贡献主导的，这是一个新现象。这很好地说明了中国的文化和教育体系的倾向性，以及研究人员的动力。

04 跨越研发与产品化之间的鸿沟

邹欣：很多创新一开始给人非常惊艳的感觉，但是却不能变成大多数用户能用的产品。怎么跨越创新想法到最终产品之间的鸿沟呢？

杨立昆： 是的，这相当于你在研究层面有了一个新想法，企业内部研究人员也凭感觉去做了，做产品的人也凭着感觉去部署它，希望能对服务或销售产品产生影响，但由此产生巨大影响的事从来没有发生过。因为通常一项研究的创新不会立即被认为是有很高影响力的，即便它在某种程度上真的是革命创新性的，但人们根本不知道能用它来做什么。例如，激光被发明出来时，人们根本不知道可以用激光来做什么。可能会认为：“我们可以用它作为一把直尺，用激光照射一个区域或用来引导机器犁地”，但他们当时不会想象到光纤通信、CD、蓝光DVD、切割等我们现在用激光做的所有事情。所以人们在最开始难以去想象和意识到能用一项新技术去做的所有事情，深度学习和人工智能也是如此。现在每天都有新的深度学习应用出现，但25年前我从来没有想过人们会如此深入地使用这些技术，他们解决了那些我们以前从未想过的情况。但一项新的技术一经发明就被立即广泛应用的事情永远不会发生。

为了更好地利用新技术，你需要在进行创新研究的团队之间建立信任，这必须是一个“大家都把自己看作是研究团体的一份子、会发表论文”的团队；还必须有一个团队更专注于做应用研究，而这两个团队之间还必须有一种信任关系。当然，公司也不会希望两者关系太紧密，否则基础研究人员会受影响去做更多面向应用的研究，这样只会得到更多的增量改进而不是革新。最后你还需要在应用研究或高级工程小组和产品团队之间建立一种信任关系，因为产品团队通常是保守的，他们还会认为创新具有破坏性，影响他们接下来的计划，可能不想在有风险的项目中浪费资源。所以这个组织首先需要的是一个有长远眼光的领导，有足够的远见来告诉团队： “虽然这很冒险，但我们想冒这个险。所以你必须在这件事上投入资源，这可能会在两年内改变我们做事的方式。 ”如果没有这种领导力和魄力，创新基本上只能停留在实验室里，不会被公司利用。在某种程度上，这也是施乐公司总部和施乐帕克研究中心之间的关系。此外，将研究与应用联系得过于紧密还有另一个危险：研究人员无法松绑来真正发挥创造力。产品可能会得到一个良好的、渐进的技术发展，但没有真正的突破。对于人工智能而言，需要的是突破，目前我们每天使用的人工智能中，有很多东西都是通过应用研究获得的，如机器翻译、图像识别等，但这些进步都是基于长期的基础研究驱动的。

邹欣：如果我们鼓励研究人员自由地尝试所有喜欢的方向，会造成研究方向的混乱吗？公司希望获得确定的预期回报，如何平衡两者？

杨立昆： 如果你想从学术研究中获得真正有抱负的东西，它确实会是混乱的，但它是有组织的混乱。想要得到突破，必须让人们在自己认为有趣的事情上工作，让他们去探索被认为可能太冒险或太长期的途径。有一部分研究实验室就是这样做的，并且完全是自下而上地由研究人员驱动进行研究。通常这些小组和项目相对较小，比较灵活机动。但有时，研究有初步结果了，组织就会想让更多人参与进来，还会需要工程支持，需要一群工程师和科学家在正确的组织方式里一起工作，这可能会吸引更多的产品团队。所以这是一整个过程，我不认为其中有什么“成功秘诀”。我见过很多失败的案例，但如果要想成功，就需要每天都在有组织的混乱中努力协调，这确实是一种挑战。

05 构建自己的工具是创新的好方法

邹欣：人工智能系统是建立在软件和硬件之上的，当前流行的AI软件架构是否限制了更多新颖的模型和AI网络结构被接纳到系统中？如果是这样的话，人们是否应该研究新的AI软件架构？

杨立昆： 在做一个人工智能项目时有一个很大的动机是人工智能规模和复杂度，简化复杂度可以减少能耗。这样我们就能把它应用在移动设备、玩具或者任何东西上。但无论何时，一项技术走向大众化，都需要有一个平台让大家可以用来构建应用，通过这个平台来做假设。现在很多人使用深度学习去做研究和工程，如TensorFlow、PyTorch或JAX（JAX是谷歌的库，谷歌的很多研究小组使用它）。在Facebook，我们主要专注于PyTorch，但我们也有个别的项目叫Flashlight，它是另一种完全不同的哲学思想。我认为，每种工具都有它自己的风格，当你使用一种工具时，很明显它会驱使你走向某种风格的研究，这种研究方式也会因为这个工具而变得简单容易；而当你有一个别人没有的工具时，它会给你带来“超能力”，会赋予你另一种思维方式，让你做到其他任何人都做不到的事情，从而让你更有原创性。

所以，我认为拥有别人没有的工具，构建自己的工具会给你带来真正的优势。这是我在20世纪80和90年代做的事情，我和朋友用工具建立了我们现在称之为“深度学习框架”的东西，当时叫做SN。然后我们最终开源了它并放入到Lush中。它是现今很多东西的基础，现在看到的TensorFlow、PyTorch和之前的Torch还有更之前的Caffe2，基本上都有继承自这个框架还有Lush的想法。一开始我们用了一年时间来建立这个工具，之后又用了一年时间和Patrice Simard（现微软研究院杰出工程师）一起做。开发这个框架给我们带来了“超能力”，基本上，我们当时是唯一能完成卷积网络训练、构建和测试的人。那时我们还不能以开源的形式发布它，但这却是为什么我们比任何人都更早地产出了一些成果。因此，构建自己的工具是创新的好方法。

邹欣：正如你所提到的，软件和工具有时会帮助你，有时也会限制你，语言也是如此。那么，是否会有一种新的编程语言，能够开启一扇新的大门？

杨立昆： 很有可能。现在当你写机器学习的代码时，可能在顶层使用Python，但实际上后面会使用很多不同的语言，因为你知道沿着这条链一直往下，有些他人编写的编译器可以把你的代码变成一个图表，然后根据你的硬件进行编译。所以，你用到了一系列的语言。之前我们用自己的工具开发SN和Lush时，专门写了个Lisp解释器来使用Lush（Patrice Simard为它写了编译器）。我们做出了一个工具用于研究和产品化，可以用Lisp写代码并且将它编译成C语言代码，这样我们就有了类似C语言的底层代码，然后指令就能运行，可以让我们的系统做手写识别和类似的事情。那就是我们曾经创造的东西。

在我进入Facebook时，也希望复制相同类型的框架，开始我们使用Torch，其中的前端语言是Lua，它非常简单也容易编译。一开始Lua没有编译器，但是后来有一个Torch的项目需要一个Lua编译器，所以我在想要是有一个可编译的Lua让我们能够同时进行研究和产品化就好了，但最终没有成功，它失败的主要原因是：人们都喜欢Python，大家不想学习一门新语言，即使这门语言非常简单。工程师讨厌使用新语言，他们只想使用在公司能得到很好支持的语言，而Lua恰恰不是，所以我们最终失败了。这就是PyTorch出现时的故事。

所以PyTorch的设计初衷是为了将Torch作为后端，然后抛弃Lua并用Python替换它。但之后它的发展远不止这些，它有了动态图和自动微分等等，这才是它成功的原因。但是现在，如果你想从PyTorch中产品化一些东西，就需要一种编译它的方法。例如Onyx是和微软合作的项目，是一种可以用来具体设定神经网络的中间语言。现在我们还有了TorchScript，它允许编译Python代码的一部分。至于未来，我自己理想的语言是Lisp，但我没法说服任何人去使用它，我认为人们最终可能会采用新的更有效的前端语言。

另外，在工业界和学术界已经有人尝试做一些颠覆性的东西，如设计更加适用于科学计算且更加方便的语言。我认为Julia已经很接近了，也许它最终会成为正确的选择（注：2021年7月Julia Computing公司获得2400万美元融资）。掌握基本方法和原理才是掌握硬核技能。

邹欣：最近一些公司想招募编译专家来做基础研究和创新，但是发现很难找到候选人。因为大学生都不学《编译原理》了。你怎么看？

杨立昆： 这在美国和欧洲也正在发生。现在人工智能、深度学习已经变得如此普遍。人们在考虑如何实现某种语言编译器和库，可以加速操作一直到硬件层面、到特殊用途的FPGA芯片中。所以你需要能设计芯片的人和能够在FPGA编程的人，也就是真正的硬件设计。然后还要可以写编译器、编程语言设计之类的东西，这样就可以拥有整个技术栈。这么做是因为，就能量消耗而言，让深度学习神经网络和人工智能系统高效运行的压力和动力非常大。我们现在到处都在使用神经网络，它们在计算资源预算中所占的比例也越来越大，所以我们需要付出很大的努力使其合理，同时，试图让这些神经网络在智能手机和AR眼镜上运行。已经有大量这方面的工作，并且创造了对编译专家的需求，对能在非常底层的硬件和专有硬件上编程的需求和对新奇的制造技术的需求，也许它打开了一扇门。这也是芯片行业当前能保持健康发展的原因之一，因为我们有很多技术机会可以运用到硬件上来加速深度学习。

这样一来，我们就需要一些全栈开发工程师，让人们可以真正把想法变成现实。然后在那些可以快速推进的情况下，人们可以不断学习、改进并反馈。

邹欣：如今很多年轻人想要进入人工智能的行业，你的建议是？

杨立昆： 关于这个我有很多要说的。这个领域确实在快速发展，也许在几年内会完全改变。所以你需要去学习有很长“保质期”的东西，当你去读研究生、进入学术界或研究机构、产业界等领域时，你有很扎实的基础。例如，数学、物理和工程中的基本方法和基本原理，要求你必须知道梯度和黏性是什么、必须学习多元微积分、必须知道偏导数是什么、必须学习优化、学习信号处理、知道变换是什么等等。

当你学习的时候，你可能认为一些知识在AI中是没用的，但它们都来自物理学，像是数学中的概率推理都来自热力学一样。如果学过统计物理和热力学，甚至量子力学，你就会有很大的优势。学习这样的基本知识会给你一种思维方式和你自己可以使用的方法，这可能是其他人没有的，而你就可以应用到那些具体的情况中。如今的问题是，所有这些课程都来自数学、物理或电气工程（或者更笼统地说来自于工程学）而非计算机科学。当然，你还必须学习编程，以及各种计算机科学相关技术、数据结构和算法，但真正应该花时间的是更基本的物理方法、工程学或数学。所以如果你只读了一个标准的软件工程本科课程，本质上你就没有足够的、连续的数学背景来学习机器学习了。

本文来自微信公众号 “CSDN”（ID：CSDNnews），作者：罗景文，翻译：王启隆，责编：邓晓娟，36氪经授权发布。