Bengio，58岁生日快乐！

---

  新智元报道  

编辑：David

【新智元导读】3月5日是图灵奖得主，深度学习三巨头之一Yoshua Bengio的58岁生日，祝他生日快乐！

3月5日，是AI先驱、2018年图灵奖得主之一Yoshua Bengio 58岁生日，ACM官推发文祝福他生日快乐，并回顾了他获奖和研究生涯以来的重大成就。

 

 

2018年，有「深度学习三巨头」之称的Yoshua Bengio、Geoffrey Hinton、Yann LeCun因概念和工程上的突破性贡献，使深度神经网络成为计算的关键组成部分，获得当年的计算机科学的最高奖项——图灵奖。

 

 

童年时的「书呆子」

Yoshua Bengio1964年3月5日出生在法国巴黎，是两个大学生的儿子。他的父母摒弃了传统的摩洛哥犹太教教养，接受了上世纪60年代反主流文化对个人自由和社会团结的关注。

 

后来，Bengio把自己在 「科学直觉」方面的敏锐归功于儿时的这段成长经历。为了寻找一个更具包容性的社会，在Bengio12岁时，他们全家搬到了加拿大蒙特利尔。

 

Bengio自称童年时是个 「典型的书呆子」，他在高中时经常感到无聊，独自在图书馆阅读。像他那一代人中的许多人一样，他在十几岁的时候遇见了计算机，与他的兄弟一起把送报纸赚来的钱攒起来买了Atari 800和Apple II。

 

 

早期生涯：与Hinton、LeCun相识合作

对计算机的早期兴趣促使Bengio进入麦吉尔大学学习计算机工程。与典型的计算机科学课程不同，该专业包括物理学和连续数学的重要训练，为他后来的机器学习工作打下了重要的数学基础。

 

1986年获得第一个学位后，Bengio继续留在麦吉尔大学，1988年获得硕士学位，1991年获得计算机科学博士学位。他是在阅读有关大规模并行计算及其在人工智能中的应用的文章时，了解到神经网络的想法的。

 

 

Bengio读到了Geoffey Hinton的工作，唤起了他对 「什么是智能」这一问题的兴趣。这与他童年时对科幻小说的兴趣相吻合，他称这是自己职业生涯的一个 「分水岭时刻」。

 

Bengio找到了一位论文导师Renato De Mori，他研究语音识别，并开始从经典的人工智能模型过渡到统计方法。

 

作为一名研究生，他能够参加会议和研讨会，参与对神经网络感兴趣的紧密但不断增长的社区，遇到了他称之为「一群法国神经网络黑手党」的人，其中就包括Yann LeCun。

 

他形容Hinton和LeCun是他最重要的职业导师，尽管他直到多年后才开始与Hinton合作。他首先在麻省理工学院做了一年博士后，这帮助他提高了对概率建模和循环神经网络的理解。

 

 

作为贝尔实验室的博士后，这个阶段的Bengio开始与LeCun合作，将博士论文中的技术应用于手写文本分析。这项技术为AT&T的自动支票处理系统做出了开创性的贡献，该系统结合神经网络和序列的概率模型，来读取纸质支票上的手写数字。

扎根蒙特利尔与CIFAR

 

1993年，Bengio回到蒙特利尔，成为蒙特利尔大学的教职员工，并在2002年成为全职教授。

Bengio认为，加拿大广泛传播研究资金和好奇心驱动的研究，说明加拿大愿意支持他在当时非正统的人工智能方面的工作。他认为，这为加拿大目前在机器学习方面的实力奠定了基础。

 

 

2000年，他发表了 《神经概率语言模型》一文，对自然语言处理做出了重大贡献。

 

训练网络来区分有意义的句子和无意义的句子是很困难的，因为要表达一个想法可以有许多不同的方式，大多数的词语组合是没有意义的。这导致了论文中所说的 "维度的诅咒"，要求不可行的大型训练集，并产生不可行的复杂模型。

 

 

这篇论文引入了高维词语嵌入作为词语意义的代表，让网络认识到新短语和包含在其训练集中的短语之间的相似性，即使使用的具体词语不同。这导致了机器翻译和自然语言理解系统的重大转变。

 

Bengio的研究团队通过将神经词嵌入与「注意力机制」相结合，进一步提高了机器翻译系统的性能。「注意力」是一个从人类认知中借用的术语。它帮助网络在翻译的每个阶段将重点缩小到相关的上下文，比如代词指代的对象的是什么。

 

 

Bengio与他的博士生之一Ian Goodfellow一起，提出了 「生成对抗网络」（GAN）的概念。大多数神经网络被设计用来识别模式，而生成式网络则学习生成难以和训练集中的对象区分的目标。

 

GAN的运作过程经常被用来促进无监督的学习。目前GAN已被广泛用于生成图像，例如自动生成不存在的人或物体的高度逼真的照片，用于视频游戏。

 

Bengio是加拿大机器学习机构的核心人物。2004年，加拿大高级研究所（CIFAR）内资助了一个神经计算和自适应感知的项目。

 

Hinton是该项目创始主任，但Bengio从一开始就作为研究人员参与其中。LeCun也是如此，自2014年以来，Bengio一直与他共同指导该项目（现已更名为 「机器和大脑的学习」）。这个名字反映了跨学科的认知科学属性，表明在神经科学和机器学习之间的双向的思想通道。

 

由于Bengio等人的贡献，蒙特利尔地区现已经成为全球深度学习研究的工作中心之一。

 

2015年，Geoffrey Hinton、Yann LeCun、Yoshua Bengio这三位深度学习巨头在Nature上共同发表一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。

 

 

截至2020年，谷歌、Facebook、微软和三星都已在蒙特利尔建立了卫星实验室。Bengio本人也共同创办了几家创业公司，最引人注目的是2016年的Element AI，该公司为深度学习技术开发工业应用。

 

对于自己倾注了半生心血的AI研究事业，Bengio对计算机智能的未来仍然信心十足：

 

 

「我并不认为创造力是计算机所不能企及的东西，我认为人类的任何能力都不是计算机所不可及其的东西。」他说。

 

祝Yoshua Bengio生日快乐！

参考资料：

https://twitter.com/TheOfficialACM/status/1500096320933138436

https://t.co/PKrb8TaoY3