图灵奖颁给深度学习三巨头，他们曾是顽固的“蠢货”
来源：量子位（ID：QbitAI）
作者：栗子、安妮、乾明
ACM刚刚官宣，Yoshua Bengio、Geoffrey Hinton、Yann LeCun获得了2018年度图灵奖，表彰他们以概念和工程的突破，让深度神经网络成为计算关键部件。
图灵奖（A.M Turing Award）创立于1966年，是计算机界的最高荣誉。
ACM这样介绍他们三人的成就：
Hinton、LeCun和Bengio三人为深度神经网络这一领域建立起了概念基础，通过实验揭示了神奇的现象，还贡献了足以展示深度神经网络实际进步的工程进展。
ACM主席Cherri M. Pancake评价说，人工智能是现在科学领域发展最快的领域之一，也是社会上最受关注的话题之一。人工智能的发展很大程度上归功于Bengio、Hinton和LeCun奠定基础的深度学习新进展。
近年来，深度学习方法在计算机视觉、语音识别、自然语言处理、机器人等应用领域带来了惊人的突破。这三个人也随之走上人工智能“教父”的神坛。
其实，现代神经网络、机器学习等AI技术背后的思想，可以追溯到第二次世界大战末期。彼时，学者们开始构建计算系统，旨在以类似于人类大脑的方式存储和处理信息。
而深度神经网络早在1980年代就已经提出，但很快遭受质疑。专注于这种方法的学者，是AI界的少数派，LeCun、Hinton和Bengio就在其中。
三十多年前，是他们一生的至暗时刻。
然而，这一小撮“顽固分子”始终坚持自己的信念，他们不怕被视作蠢货，一直相信神经网络会照亮这个世界，并改变整个人类的命运。最终，他们的信念也改变了自己的命运。
Geoffrey Hinton
Geoffrey Hinton，1947年生，现年72岁，谷歌的副总裁和工程师，也是AI研究机构Vector Institute的首席科学顾问和多伦多大学的名誉教授。
在ACM颁奖辞博文中，主要提到了Hinton的三个贡献。如果你做过AI项目，肯定不会陌生，它们分别是：
反向传播（Backpropagation）：
1986年，在Learning Internal Representations by Error Propagation这篇论文里，Hinton证明了，反向传播能让神经网络发现自己内部的数据表征，这样便可以处理以往无法解决的问题。
如今，反向传播已经是神经网络的标准操作，Hinton也有了“反向传播之父”的名号。
玻尔兹曼机（Boltzmann Machines）：
1983年，Hinton和同伴一起发明了玻尔兹曼机，那是最早能够学习神经元内部表征的网络之一：那些表征既不来自输入，也不来自输出。
改进卷积神经网络：
2012年，Hinton和学生们一起，利用线性整流神经元（Rectified Linear Neurons）和dropout正则化改进了卷积神经网络。
在ImageNet比赛上，他们几乎把物体识别的错误率降到了从前的一半，让计算机视觉领域焕然一新。
在获得图灵奖之前，Hinton就已经获得了大量的荣誉，手握加拿大最高荣誉勋章（Companion of the Order of Canada），是顶级认知科学奖鲁梅哈特奖的首位获奖者，也获得了人工智能国际联合会（IJCAI）杰出学者终生成就奖等等。
此外，他也是英国皇家学会成员、美国工程院外籍院士。
一个有趣的轶事是，Hinton的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者，因“布尔检索”而闻名于世。
而即将出场的人，曾经在Hinton的实验室里做过博士后。
Yann LeCun
Yann LeCun，1960年生，58岁，现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父，是他最为人熟知的名号。
ACM列举的成就，也是从这里开始。
卷积神经网络 (CNN) ：
1989年，在AT&T贝尔实验室工作的LeCun，以反向传播为基础，发表了一项研究，叫做“将反向传播用到手写邮编的识别上”。CNN就是在这个基础上第一次实现。
如今，CNN已经成为深度学习的基础技术了，不止在计算机视觉领域，在语音合成、语音识别这些领域中，也是行业标准操作。
反向传播雏形：
1985年，Hinton还没有成为反向传播之父的时候，LeCun在巴黎六大读博期间，发表过反向传播的一个早期版本，根据变分原理给出了一个简单的推导过程。
他用两种加速学习的方法，让反向传播变得更快了。
拓展了神经网络的视野：
LeCun不止把神经网络用在图像识别上，还解锁了许多其他任务。他提出的一些概念，如今已经成了AI领域的基础。比如，在图像识别上，他研究了神经网络怎样学习分层特征表示 (Hierarchical Feature Representation) ，这也成为了如今许多图像识别项目中常用的概念。
另外，他和同伴Léon Bottou一起提出，学习系统可以由复杂的神经网络构成。在这样的系统里，反向传播是靠自动微分来实现。他们还提出，深度学习架构可以对结构化数据（比如图形），进行处理。
LeCun博士毕业后，只在Hinton的实验室做了一年博士后，就进入了工业界。
不过，他在2003年成为了纽约大学的教授，还在2012年创办了纽大数据科学中心。即便加入Facebook之后，也继续在纽大兼职。
而下一位巨头，也和LeCun一样，横跨学术界和产业界。并且，他也在赫赫有名的贝尔实验室工作过。
Yoshua Bengio
Yoshua Bengio，1964年生，55岁，现在是蒙特利尔大学计算机科学与运筹学系教授。
Bengio创建了蒙特利尔学习算法研究所（MILA），担任研究所的科学主任，主持加拿大高等研究院（CIFAR）机器与大脑学习项目的研究。同时，Bengio也担任着数据评估研究所（IVADO）的科学联合主任。
同样，ACM也总结了Bengio的三个主要贡献。
序列的概率模型：
上世纪90年代，Bengio提出了序列的概率模型。他把神经网络和概率模型（例如隐马尔可夫模型）相结合，用新技术识别手写的支票。外界认为，这是20世纪90年代神经网络的巅峰之作，当下语音识别技术就是在它的基础上扩展的。
高维词汇嵌入和注意机制：
Bengio参与发表了一篇里程碑式的论文，A Neural Probabilistic Language Model（神经概率语言模型），把高维词嵌入（High-Dimentional Word Embeddings）作为词义的表征。这对NLP的研究（如翻译、问答和视觉问答等任务）产生了深远的影响。
生成对抗网络（GAN）：
2014年，Bengio与Ian Goodfellow一同发表的生成对抗网络（GAN），引发了计算机视觉和图形学的革命。
据统计，Yoshua Bengio发表的300多篇学术文章，其累计引用次数已经超过137000次。
作为教授，Bengio曾经和Ian Goodfellow、Aaron Courville等业界大神一起写出了Deep Learning，成为人手一本的“AI圣经”，不少人将这本书称为“花书”。
除了学术界，Bengio也活跃在产业界。
曾经，Bengio联合Jean-François Gagné创立了Element AI，为那些想给自家业务寻找机器学习解决方案的公司，找到AI领域的专家。
除此之外，Bengio也有许多荣誉在身。他不仅成为了加拿大皇家学院（RSC）及加拿大高等研究院（CIFAR）的院士，还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。
一小撮“蠢货”
从上世纪50年代开始，神经网络的发展起起伏伏，被人唾弃过，也被屡次唱衰过。
多亏了一批最早在黑暗中等待黎明的人，不断研究探索，才有了人工智能的今天。这是一段卧薪尝胆的故事，将Hinton、LeCun和Bengio的命运交织在一起。
三十多年以来，他们仨一直徘徊在人工智能研究的边缘地带。像局外人一样坚守着一个简单的观点：计算机可以像人类一样，通过神经网络思考，依靠直觉而不是规则。
而当时主流学术界给出的答案，是一个震耳欲聋的No。他们说计算机最佳的学习方式，就是规则和逻辑。Hinton主张的神经网络，被他们“证明”是错的。
1972年，25岁的Hinton在爱丁堡大学攻读博士学位，并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。
1980年代LeCun在巴黎读大学时，计算机就是瞎子，无法识别图片中的内容，也无法判断摄像头前方出现了什么。但就在那个时候，LeCun偶然涉足了探索人工智能领域的一种方法：智能神经网络。
这不是一条新路径，且并不受待见。但在攻读博士学位时，LeCun顶着一片质疑声专注于研究神经网络，他说：“我只是不相信他们所说的。”
1985年，Bengio在加拿大麦吉尔大学时，根本没人教神经网络。他学的是经典的、符号化的人工智能（Symbolic AI），所以想做神经网络，必须先说服教授来指导他。
Hinton在他的办公室
80年代末，神经网络曾有过一次小小的复苏。但由于计算力和可用数据的缺乏，人工智能再次进入寒冬。一直到2000年代初期，这群坚信神经网络的学者处境愈发边缘化。一些学术机构甚至不允许他们在会议上发表论文，计算机视觉的圈子将他们拒之门外。
在蒙特利尔大学任教的Yoshua Bengio发现，他很难找到愿意与自己共事的研究生。“我需要强迫学生从事这方面的研究，但他们害怕在博士毕业后找不到工作。”
“当然，我们一直相信它，也一直在研究它。”Hinton说。
“神经网络终有一天会回来——至少有很小一撮人心里是这么想的。”LeCun说。
Hinton出生于一个具有学术背景的显赫世家。在他长大成人的过程中，母亲给过他两种选择：“做学者，或是做失败者。”7岁就已经意识到要读博的Hinton说，自己一辈子都在压抑、沮丧中挣扎。
但他投入研究的神经网络，真是经历过漫长而幽暗的岁月。除了面对学术上的不认可，他的两任妻子先后罹患了癌症，而他自己也深受背痛困扰。
2003年，Hinton在多伦多被CIFAR招揽过去启动一个神经计算项目。于是，他们聚到了一起，决定努力奋斗，重新点燃这个领域的热情。
一直到2009年前后，计算机有了足够的算力挖掘大型数据库，从此神经网络开始在语音和图像识别方面战胜基于逻辑的系统。工业界很快注意到这一变化，微软、Facebook、谷歌等科技巨头开始在这个领域投资。
LeCun拍摄：Hinton和Bengio
Bengio评价Hinton时说：“他有时可以透过黑暗看清事物。但他的个人生活非常不容易。他也有他的黑暗时代。”
在黑暗中穿行的日子里，他始终坚持一个信念：其他人都错了。
不过最终，他们都等来了春天。
在彭博社去年的采访中，Hinton说：“未来是很难预测的。当你开始试图预测未来20年会发生什么事情时，你基本就错得离谱了。但也有一些东西是可以预测的，比如人工智能技术将会改变一切。”
相关推荐
图灵奖颁给深度学习三巨头，他们曾是一小撮顽固的“蠢货”
图灵奖颁给深度学习三巨头，他们曾是顽固的“蠢货”
图灵奖颁给《玩具总动员》打造者，他们是动画特效先驱，奥斯卡得主，图形学集大成者
LSTM之父，被图灵奖遗忘的大神
深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能
图灵奖公布，计算机图形学先驱Hanrahan和Catmull获奖，二人见证了好莱坞3D动画电影史
图灵奖背后：一个奥斯卡拿到手软，一个公司卖了160亿
图灵奖得主Bengio：深度学习不会被取代，我想让AI会推理、计划和想象
今日诺奖颁布，他们延长了整个世界的续航
机器学习模拟1亿原子：中美团队获2020「超算诺贝尔奖」戈登贝尔奖
网址: 图灵奖颁给深度学习三巨头，他们曾是顽固的“蠢货” http://m.xishuta.com/newsview2344.html
