合集下载 | 2018年图灵奖得主“深度学习三巨头”主要贡献和代表性论文

2019 年 3 月 28 日 人工智能前沿讲习班

关注文章公众号

回复"图灵奖2018"获取已打包高被引论文


2019年3月27日——ACM宣布,深度学习的三位创造者Yoshua Bengio, Yann LeCun, 以及Geoffrey Hinton获得了2018年的图灵奖。


Geoffrey Hinton

杰弗里·欣顿

主页:http://www.cs.toronto.edu/~hinton/

Geoffery Hinton(杰弗里·欣顿,在爱丁堡大学获得人工智能博士学位。现任谷歌副总裁、工程研究员、多伦多人工智能矢量研究所首席科学顾问、多伦多大学名誉教授。他是加拿大先进研究院神经计算和自适应项目(Neural Computation and Adaptive Perception Program)的创始人,还获得了包括加拿大最高荣誉勋章(Companion of the Order of Canada)、英国皇家学会成员、美国工程院外籍院士、人工智能国际联合会(IJCAI)杰出研究奖、IEEE詹姆斯·克拉克·麦克斯韦金奖(IEEE James Clerk Maxwell Gold Medal)等一系列荣誉。2017 年被彭博社(Bloomberg)评为改变全球商业格局的 50 人之一。

主要贡献:

在ACM的公告中,Hinton最重要的贡献来自他1986年发明反向传播的论文“Learning Internal Representations by Error Propagation”,1983年发明的玻尔兹曼机(Boltzmann Machines),以及2012年对卷积神经网络的改进。Hinton和他的学生Alex Krizhevsky以及Ilya Sutskever 通过Rectified Linear Neurons和Dropout Regularization改进了卷积神经网络,并在著名的ImageNet评测中取得了很好的成绩,在计算机视觉领域掀起一场革命。

代表性论文(小编已打包好,对话框回复“图灵奖2018”即可获取):


Yann LeCun

杨立昆

主页:http://yann.lecun.com/

Yann LeCun(杨立昆,在法国皮埃尔和玛丽·居里大学获得计算机科学博士学位。现任纽约大学柯朗数学科学研究所 Silver 冠名教授、Facebook 公司人工智能首席科学家、副总裁。他获得了包括美国工程院院士、IEEE神经网络先锋奖(IEEE Neural Network Pioneer Award)等一系列荣誉。他还是纽约大学数据科学中心的创始人,与约书亚·本希奥一起担任加拿大先进研究院机器与大脑学习项目的主管。

主要贡献:

Yann LeCun的代表贡献之一是卷积神经网络。1980年代,LeCun发明了卷积神经网络,现在已经成为了机器学习领域的基础技术之一,也让深度学习效率更高。1980年代末期,Yan LeCun在多伦多大学和贝尔实验室工作期间,首次将卷积神经网络用于手写数字识别。今天,卷积神经网络已经成为了业界标准技术,广泛用于计算机视觉、语音识别、语音合成、图片合成,以及自然语言处理等学术方向,以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。LeCun的第二个重要贡献是改进了反向传播算法。他提出了一个早期的反向传播算法backprop,也根据变分原理给出了一个简洁的推导。他的工作让反向传播算法更快,比如描述了两个简单的方法可以减少学习时间。LeCun第三个贡献是拓展了神经网络的应用范围。他把神经网络变成了一个可以完成大量不同任务的计算模型。他早期引进的一些工作现在已经成为了人工智能的基础概念。例如,在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据(例如图数据)的深度学习架构。

代表性论文:(小编打包好,对话框回复“图灵奖2018”即可获取):


YoshuaBengio

约书亚·本希奥

主页:https://mila.quebec/en/yoshua-bengio/

Yoshua Bengio(约书亚·本希奥,在加拿大麦吉尔大学取得计算机博士学位。现为加拿大蒙特利尔大学教授、加拿大数据定价中心主任(IVADO)、蒙特利尔学习算法研究中心(Mila)科学主任、加拿大先进研究院主任。同时,他与杨立昆一起担任加拿大先进研究院机器与大脑学习项目的主管。他创建了目前世界上最大的深度学习研究中心——蒙特利尔学习算法研究中心(MILA),使蒙特利尔成为世界上人工智能研究最为活跃的地区之一,引来大批公司和研究室入驻。

主要贡献:

Bengio的贡献主要在1990年代发明的Probabilistic models of sequences。他把神经网络和概率模型(例如隐马尔可夫模型)结合在一起,并和AT&T公司合作,用新技术识别手写的支票。现代深度学习技术中的语音识别也是这些概念的扩展。此外Bengio还于2000年还发表了划时代的论文“A Neural Probabilistic Language Model”,使用高维词向量来表征自然语言。他的团队还引入了注意力机制,让机器翻译获得突破,也成为了让深度学习处理序列的重要技术。

代表性论文:(小编打包好,对话框回复“图灵奖2018”即可获取):



历史文章推荐:

机器学习中的最优化算法总结

深度学习500问!一份火爆GitHub的面试手册

深度学习最常见的 12 个卷积模型汇总,请务必掌握!

CVPR2019 | 专门为卷积神经网络设计的训练方法:RePr

深度神经网络模型训练中的最新tricks总结【原理与代码汇总】

基于深度学习的艺术风格化研究【附PDF】

最新国内大学毕业论文LaTex模板集合(持续更新中)

基于深度学习的图像超分辨率最新进展与趋势【附PDF】

t-SNE:最好的降维方法之一

年龄估计技术综述



若您觉得此篇推文不错,麻烦点点在看↓↓

登录查看更多
6

相关内容

Yann Lecun 纽约大学《深度学习(PyTorch)》课程(2020)PPT
专知会员服务
178+阅读 · 2020年3月16日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
182+阅读 · 2020年2月3日
最新!Yann Lecun 纽约大学Spring2020深度学习课程,附PPT下载
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
【干货】Yann Lecun自监督学习指南(附114页Slides全文)
GAN生成式对抗网络
93+阅读 · 2018年12月19日
最前沿的深度学习论文、架构及资源分享
深度学习与NLP
13+阅读 · 2018年1月25日
2018年的人工智能和深度学习将会如何发展? | 分析
网易智能菌
3+阅读 · 2017年12月30日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2018年2月22日
VIP会员
相关VIP内容
Yann Lecun 纽约大学《深度学习(PyTorch)》课程(2020)PPT
专知会员服务
178+阅读 · 2020年3月16日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
182+阅读 · 2020年2月3日
最新!Yann Lecun 纽约大学Spring2020深度学习课程,附PPT下载
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
相关论文
Top
微信扫码咨询专知VIP会员