Bengio,58岁生日快乐!

2022 年 3 月 7 日 新智元



  新智元报道  

编辑:David

【新智元导读】3月5日是图灵奖得主,深度学习三巨头之一Yoshua Bengio的58岁生日,祝他生日快乐!


3月5日,是AI先驱、2018年图灵奖得主之一Yoshua Bengio 58岁生日,ACM官推发文祝福他生日快乐,并回顾了他获奖和研究生涯以来的重大成就。

 
 
2018年,有「深度学习三巨头」之称的Yoshua Bengio、Geoffrey Hinton、Yann LeCun因概念和工程上的突破性贡献,使深度神经网络成为计算的关键组成部分,获得当年的计算机科学的最高奖项——图灵奖。
 
 

童年时的「书呆子」


Yoshua Bengio1964年3月5日出生在法国巴黎,是两个大学生的儿子。他的父母摒弃了传统的摩洛哥犹太教教养,接受了上世纪60年代反主流文化对个人自由和社会团结的关注。
 
后来,Bengio把自己在 「科学直觉」方面的敏锐归功于儿时的这段成长经历。为了寻找一个更具包容性的社会,在Bengio12岁时,他们全家搬到了加拿大蒙特利尔。
 
Bengio自称童年时是个 「典型的书呆子」,他在高中时经常感到无聊,独自在图书馆阅读。像他那一代人中的许多人一样,他在十几岁的时候遇见了计算机,与他的兄弟一起把送报纸赚来的钱攒起来买了Atari 800和Apple II。
 
 

早期生涯:与Hinton、LeCun相识合作


对计算机的早期兴趣促使Bengio进入麦吉尔大学学习计算机工程。与典型的计算机科学课程不同,该专业包括物理学和连续数学的重要训练,为他后来的机器学习工作打下了重要的数学基础。
 
1986年获得第一个学位后,Bengio继续留在麦吉尔大学,1988年获得硕士学位,1991年获得计算机科学博士学位。他是在阅读有关大规模并行计算及其在人工智能中的应用的文章时,了解到神经网络的想法的。
 
 
Bengio读到了Geoffey Hinton的工作,唤起了他对 「什么是智能」这一问题的兴趣。这与他童年时对科幻小说的兴趣相吻合,他称这是自己职业生涯的一个 「分水岭时刻」。
 
Bengio找到了一位论文导师Renato De Mori,他研究语音识别,并开始从经典的人工智能模型过渡到统计方法。
 
作为一名研究生,他能够参加会议和研讨会,参与对神经网络感兴趣的紧密但不断增长的社区,遇到了他称之为「一群法国神经网络黑手党」的人,其中就包括Yann LeCun。
 

他形容Hinton和LeCun是他最重要的职业导师,尽管他直到多年后才开始与Hinton合作。他首先在麻省理工学院做了一年博士后,这帮助他提高了对概率建模和循环神经网络的理解。
 
 
作为贝尔实验室的博士后,这个阶段的Bengio开始与LeCun合作,将博士论文中的技术应用于手写文本分析。这项技术为AT&T的自动支票处理系统做出了开创性的贡献,该系统结合神经网络和序列的概率模型,来读取纸质支票上的手写数字。

扎根蒙特利尔与CIFAR

 
1993年,Bengio回到蒙特利尔,成为蒙特利尔大学的教职员工,并在2002年成为全职教授。

Bengio认为,加拿大广泛传播研究资金和好奇心驱动的研究,说明加拿大愿意支持他在当时非正统的人工智能方面的工作。他认为,这为加拿大目前在机器学习方面的实力奠定了基础。
 
 
2000年,他发表了 《神经概率语言模型》一文,对自然语言处理做出了重大贡献。
 
训练网络来区分有意义的句子和无意义的句子是很困难的,因为要表达一个想法可以有许多不同的方式,大多数的词语组合是没有意义的。这导致了论文中所说的 "维度的诅咒",要求不可行的大型训练集,并产生不可行的复杂模型。
 
 
这篇论文引入了高维词语嵌入作为词语意义的代表,让网络认识到新短语和包含在其训练集中的短语之间的相似性,即使使用的具体词语不同。这导致了机器翻译和自然语言理解系统的重大转变。
 
Bengio的研究团队通过将神经词嵌入与「注意力机制」相结合,进一步提高了机器翻译系统的性能。「注意力」是一个从人类认知中借用的术语。它帮助网络在翻译的每个阶段将重点缩小到相关的上下文,比如代词指代的对象的是什么。
 
 
Bengio与他的博士生之一Ian Goodfellow一起,提出了 「生成对抗网络」(GAN)的概念。大多数神经网络被设计用来识别模式,而生成式网络则学习生成难以和训练集中的对象区分的目标。
 
GAN的运作过程经常被用来促进无监督的学习。目前GAN已被广泛用于生成图像,例如自动生成不存在的人或物体的高度逼真的照片,用于视频游戏。
 
Bengio是加拿大机器学习机构的核心人物。2004年,加拿大高级研究所(CIFAR)内资助了一个神经计算和自适应感知的项目。

 
Hinton是该项目创始主任,但Bengio从一开始就作为研究人员参与其中。LeCun也是如此,自2014年以来,Bengio一直与他共同指导该项目(现已更名为 「机器和大脑的学习」)。这个名字反映了跨学科的认知科学属性,表明在神经科学和机器学习之间的双向的思想通道。
 
由于Bengio等人的贡献,蒙特利尔地区现已经成为全球深度学习研究的工作中心之一。
 
2015年,Geoffrey Hinton、Yann LeCun、Yoshua Bengio这三位深度学习巨头在Nature上共同发表一篇名为《深度学习》的综述文章,讲述了深度学习为传统机器学习带来的变革。
 
 
截至2020年,谷歌、Facebook、微软和三星都已在蒙特利尔建立了卫星实验室。Bengio本人也共同创办了几家创业公司,最引人注目的是2016年的Element AI,该公司为深度学习技术开发工业应用。
 
对于自己倾注了半生心血的AI研究事业,Bengio对计算机智能的未来仍然信心十足:
 
 
「我并不认为创造力是计算机所不能企及的东西,我认为人类的任何能力都不是计算机所不可及其的东西。」他说。
 
祝Yoshua Bengio生日快乐!

参考资料:
https://twitter.com/TheOfficialACM/status/1500096320933138436
https://t.co/PKrb8TaoY3



登录查看更多
0

相关内容

Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员。 ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。 https://mila.quebec/en/yoshua-bengio/
【Yoshua Bengio】走向因果表示学习,附论文、视频与72页ppt
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
【哈佛《CS50 Python人工智能入门》课程 (2020)】
专知会员服务
107+阅读 · 2020年4月12日
深度学习综述:Hinton、Yann LeCun和Bengio经典重读
人工智能学家
17+阅读 · 2018年2月10日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
14+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年8月29日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2011年8月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
1+阅读 · 2022年4月15日
VIP会员
相关VIP内容
【Yoshua Bengio】走向因果表示学习,附论文、视频与72页ppt
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
【哈佛《CS50 Python人工智能入门》课程 (2020)】
专知会员服务
107+阅读 · 2020年4月12日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
14+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年8月29日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2011年8月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员