成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
2012-2022: AI革命10周年,Hinton等大佬重拳出击「深度学习撞墙」论
2022 年 9 月 15 日
新智元
新智元报道
编辑:David 武穆
【新智元导读】
AI与深度学习如何彻底走出寒冬,终成「显学」?一切始于2012年AlexNet那篇论文,10年过去,今天的AI怎么样了?
2012年9月,一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文,让此前沉寂多年的人工智能领域热度骤起。
文中提出的AlexNet深度卷积神经网络,在当年的ImageNet分类任务比赛ILSVRC-2012上,以碾压之势轻松夺冠,大幅刷新了此前的SOTA。
说是碾压,毫不夸张。AlexNet一举将 top-5 错误率降低到了15.3%,比身后的第二名(26.2%)足足高出10多个百分点,堪称跃进式提升。
ImageNet是一个大型视觉数据集,用于视觉目标识别软件研究。该数据集由斯坦福大学计算机专家李飞飞团队创建于2007年。
直至目前,该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。
AlexNet摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。
后来人们所讲的「深度学习革命」,也借此文以发端,直到十年后的今天。
过去十年来,在AI领域诞生了无数成功的网络模型——从云计算、云存储、机器翻译、到AI画家和自动驾驶,AI技术遍地开花。
技术突破带来的是AI产业规模的升级和资本的青睐: 据统计,全球AI领域创业投资从2011年的6.7亿美元增长到2020年的360亿美元,在2021年再翻一番,达到770亿美元。
近日,这篇Alexnet论文的作者之一,2018年图灵奖得主Geoffrey Hinton、ImageNet创始人之一、斯坦福大学教授李飞飞、以及另一位AI大佬Yann LeCun一起回顾了过去10年来方兴未艾的AI革命。
在采访中,Hinton 对未来机器人技术的前景大为看好。
「机器人技术的巨大进步将诞生更灵巧、敏捷、顺从的机器人,可以像我们一样更高效、更温和地完成任务」,他说。
LeCun认为,过去阻碍AI发展的障碍,正在以令人难以置信的速度被清除。仅在过去的四、五年里,进展是惊人的。
李飞飞也表示,自2012年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。
实际上,作为深度学习先驱的Hinton和LeCun等人一直相信,深度学习革命即将到来。
早在1986年,Hinton等人发表的论文就让训练多层神经网络的「反向传播算法」广为人知。
「当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。」
1989年,LeCun率先使用了反向传播和卷积神经网络,他也同意Hinton的看法。
他说:「我毫不怀疑,最终我们在上世纪80-90年代开发的技术将被采用」。
李飞飞也一直相信自己多年来的假设,即通过正确的算法,ImageNet数据集是推进计算机视觉和深度学习研究的关键。
她说:「这是对机器学习的一种非常创新的思考方式,也是一种高风险的举动,但我们从科学上相信,我们的假设是正确的。」
10年AI热潮 ,论战与批评
巨大的成功往往会引来批评者。
而且有强烈的声音指出深度学习的局限性,说它的成功范围极其狭窄。
他们还坚持认为,神经网络造成的炒作只是如此,并没有根本性突破:而所谓的通用人工智能(AGI)更是空中楼阁,在我们的有生之年,甚至在可预见的未来内,AI在推理能力上永远不可能接近人类。
Marcus是纽约大学名誉教授,也是Robust.AI的创始人兼首席执行官。作为和LeCun战了多年的老对手,他一直是深度学习的主要批评者。
早在2012年11月,他就为《纽约客》写了一篇文章。质疑「深度学习是AI革命」的说法。而当时距离AlexNet在Imagenet大赛上大杀四方仅过去了几个月。
Marcus文中说:「套用一个古老的寓言,Hinton造了一个更好的梯子,但更好的梯子并不一定能把你带到月球上。」
去年3月,他发表了一篇关于深度学习「碰壁」的文章,说尽管深度学习确实取得了进展,但「我们对世界的了解,仍然停留在对常识知识和推理上」。
Marcus表示,早在2016年,Hinton就说过,不用再培养放射科医生了。如今几年过去,AI并没有取代任何一位放射科医生。问题出在哪儿?
近年来,AI在大数据、大模型的深度学习之路上一路狂奔,但很多核心问题依然没有解决,比如如何让模型具备真正的理解能力。
Hinton和LeCun都反驳了Marcus的批评。
Hinton说,尽管他过去也承认深度学习的能力范围是有限的。「(深度学习)并没有碰壁——如果你看看最近的进展,就会发现它是惊人的」。
LeCun补充道:「没有撞墙这回事。是有一些障碍需要清除,虽然解决这些障碍的办法还不完全清楚。但我完全没有看到深度学习进展放缓的迹象……如果深度学习进展有迹象的话,那也是进展正在加速。」
除了Marcus之外,华盛顿大学计算机语言学教授Emily Bender也是「深度学习泡沫」的著名批评者之一。她表示,她不认为如今的NLP和CV模型能在「大家所说的AI和AGI方面取得实质性进展」。
Bender并不信服他们的说法。她通过电子邮件告诉VentureBeat:「从某种程度上说,他们只是在讨论基于ImageNet等基准提供的标签,对图像进行分类的进展,2012年后,这方面似乎有了一些质的突破。如果他们谈论的是比这更宏大的东西,那都是炒作。」
无论是乐观展望,还是犀利批评,我们可以从过去十年的深度学习进展中学到什么?这种已经改变世界的革命性技术,未来又会怎样呢?
下一个十年,更多的人仍然拭目以待。
参考资料:
https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
AlexNet
关注
0
不可错过!2022伯克利新课-《全栈深度学习2022》课程视频及ppt免费分享
专知会员服务
87+阅读 · 2022年8月19日
Geoff Hinton最新访谈视频:谈人工智能革命…再一次
专知会员服务
27+阅读 · 2022年6月2日
「计算机视觉」2022 年 5 大趋势
专知会员服务
73+阅读 · 2022年3月27日
周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
ETH最新「深度学习视频分割」综述论文,260篇文献
专知会员服务
21+阅读 · 2021年7月5日
重磅!斯坦福「人工智能指数报告2021」出炉,222页pdf详述九大进展
专知会员服务
62+阅读 · 2021年3月4日
【2020新书】Google软件工程方法论,617页pdf
专知会员服务
79+阅读 · 2020年11月11日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
187+阅读 · 2020年8月6日
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
129+阅读 · 2020年7月10日
【重磅】斯坦福《2019人工智能指数报告》出炉,291页pdf了解AI态势进展
专知会员服务
59+阅读 · 2019年12月12日
LeCun再炮轰Marcus: 他是心理学家,不是搞AI的
新智元
0+阅读 · 2022年9月26日
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
机器之心
0+阅读 · 2022年9月16日
深度学习的下一步是什么?
AI前线
0+阅读 · 2022年6月13日
Geoffrey Hinton 最新访谈:不出五年,我们就会破解大脑的运作机制,但不是通过反向传播
夕小瑶的卖萌屋
0+阅读 · 2022年6月11日
Gary Marcus公开喊话Hinton、马斯克:深度学习就是撞墙了,我赌十万美金
机器之心
0+阅读 · 2022年6月9日
深度学习撞墙了
机器之心
0+阅读 · 2022年3月11日
Hinton获2021迪克森科学奖:他改变了AI,改变了世界
THU数据派
0+阅读 · 2021年9月17日
Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一
中国人工智能学会
17+阅读 · 2019年6月19日
为你推荐一份深度学习书单,来学习吧~
THU数据派
12+阅读 · 2018年3月13日
【深度学习】做AI必须要知道的十种深度学习方法
产业智能官
19+阅读 · 2017年12月2日
面孔知觉学习的神经机制
国家自然科学基金
0+阅读 · 2013年12月31日
感激(感恩)的神经生物学基础
国家自然科学基金
0+阅读 · 2012年12月31日
低秩矩阵复原的Schatten-q(0<q<1)正则化理论与算法研究
国家自然科学基金
1+阅读 · 2012年12月31日
过去千年中国耕地空间格局变化研究
国家自然科学基金
0+阅读 · 2012年12月31日
应用fMRI对tDCS联合信号/噪音抗抑制知觉学习后大龄弱视视觉可塑性改变的脑机制研究
国家自然科学基金
0+阅读 · 2012年12月31日
齿轮箱早期故障信号分析与智能识别的数学形态学方法
国家自然科学基金
0+阅读 · 2012年12月31日
中国地质历史时期生命全景图
国家自然科学基金
0+阅读 · 2011年12月31日
基于点击化学及可控自由基聚合的石墨烯表面聚合物的接枝改性
国家自然科学基金
0+阅读 · 2009年12月31日
无驱动结构的微机械陀螺
国家自然科学基金
0+阅读 · 2009年12月31日
基于公理模糊集理论的模糊机器学习
国家自然科学基金
4+阅读 · 2008年12月31日
FLAIR #1: semantic segmentation and domain adaptation dataset
Arxiv
0+阅读 · 2022年11月28日
Learning Detailed Radiance Manifolds for High-Fidelity and 3D-Consistent Portrait Synthesis from Monocular Image
Arxiv
0+阅读 · 2022年11月25日
TorchScale: Transformers at Scale
Arxiv
0+阅读 · 2022年11月23日
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
Arxiv
0+阅读 · 2022年11月23日
A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges
Arxiv
25+阅读 · 2022年11月15日
SVT-Net: Super Light-Weight Sparse Voxel Transformer for Large Scale Place Recognition
Arxiv
12+阅读 · 2021年5月30日
Contrastive Triple Extraction with Generative Transformer
Arxiv
13+阅读 · 2021年2月4日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Latent Relation Language Models
Arxiv
21+阅读 · 2019年8月21日
Unsupervised Cipher Cracking Using Discrete GANs
Arxiv
11+阅读 · 2018年1月15日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
AlexNet
Hinton
ImageNet (数据集)
深度学习
AI
深度卷积神经网络
相关VIP内容
不可错过!2022伯克利新课-《全栈深度学习2022》课程视频及ppt免费分享
专知会员服务
87+阅读 · 2022年8月19日
Geoff Hinton最新访谈视频:谈人工智能革命…再一次
专知会员服务
27+阅读 · 2022年6月2日
「计算机视觉」2022 年 5 大趋势
专知会员服务
73+阅读 · 2022年3月27日
周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
ETH最新「深度学习视频分割」综述论文,260篇文献
专知会员服务
21+阅读 · 2021年7月5日
重磅!斯坦福「人工智能指数报告2021」出炉,222页pdf详述九大进展
专知会员服务
62+阅读 · 2021年3月4日
【2020新书】Google软件工程方法论,617页pdf
专知会员服务
79+阅读 · 2020年11月11日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
187+阅读 · 2020年8月6日
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
129+阅读 · 2020年7月10日
【重磅】斯坦福《2019人工智能指数报告》出炉,291页pdf了解AI态势进展
专知会员服务
59+阅读 · 2019年12月12日
热门VIP内容
开通专知VIP会员 享更多权益服务
《支持 ML/AI 的下一代智能自主网络系统:性能提升与管理》177页
《飞行训练指导:夜间熟悉》152页
数据:联合作战的新弹药
《混合现实飞行模拟器中的夜视镜仿真:无缝集成真实世界》最新54页
相关资讯
LeCun再炮轰Marcus: 他是心理学家,不是搞AI的
新智元
0+阅读 · 2022年9月26日
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
机器之心
0+阅读 · 2022年9月16日
深度学习的下一步是什么?
AI前线
0+阅读 · 2022年6月13日
Geoffrey Hinton 最新访谈:不出五年,我们就会破解大脑的运作机制,但不是通过反向传播
夕小瑶的卖萌屋
0+阅读 · 2022年6月11日
Gary Marcus公开喊话Hinton、马斯克:深度学习就是撞墙了,我赌十万美金
机器之心
0+阅读 · 2022年6月9日
深度学习撞墙了
机器之心
0+阅读 · 2022年3月11日
Hinton获2021迪克森科学奖:他改变了AI,改变了世界
THU数据派
0+阅读 · 2021年9月17日
Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一
中国人工智能学会
17+阅读 · 2019年6月19日
为你推荐一份深度学习书单,来学习吧~
THU数据派
12+阅读 · 2018年3月13日
【深度学习】做AI必须要知道的十种深度学习方法
产业智能官
19+阅读 · 2017年12月2日
相关基金
面孔知觉学习的神经机制
国家自然科学基金
0+阅读 · 2013年12月31日
感激(感恩)的神经生物学基础
国家自然科学基金
0+阅读 · 2012年12月31日
低秩矩阵复原的Schatten-q(0<q<1)正则化理论与算法研究
国家自然科学基金
1+阅读 · 2012年12月31日
过去千年中国耕地空间格局变化研究
国家自然科学基金
0+阅读 · 2012年12月31日
应用fMRI对tDCS联合信号/噪音抗抑制知觉学习后大龄弱视视觉可塑性改变的脑机制研究
国家自然科学基金
0+阅读 · 2012年12月31日
齿轮箱早期故障信号分析与智能识别的数学形态学方法
国家自然科学基金
0+阅读 · 2012年12月31日
中国地质历史时期生命全景图
国家自然科学基金
0+阅读 · 2011年12月31日
基于点击化学及可控自由基聚合的石墨烯表面聚合物的接枝改性
国家自然科学基金
0+阅读 · 2009年12月31日
无驱动结构的微机械陀螺
国家自然科学基金
0+阅读 · 2009年12月31日
基于公理模糊集理论的模糊机器学习
国家自然科学基金
4+阅读 · 2008年12月31日
相关论文
FLAIR #1: semantic segmentation and domain adaptation dataset
Arxiv
0+阅读 · 2022年11月28日
Learning Detailed Radiance Manifolds for High-Fidelity and 3D-Consistent Portrait Synthesis from Monocular Image
Arxiv
0+阅读 · 2022年11月25日
TorchScale: Transformers at Scale
Arxiv
0+阅读 · 2022年11月23日
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
Arxiv
0+阅读 · 2022年11月23日
A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges
Arxiv
25+阅读 · 2022年11月15日
SVT-Net: Super Light-Weight Sparse Voxel Transformer for Large Scale Place Recognition
Arxiv
12+阅读 · 2021年5月30日
Contrastive Triple Extraction with Generative Transformer
Arxiv
13+阅读 · 2021年2月4日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Latent Relation Language Models
Arxiv
21+阅读 · 2019年8月21日
Unsupervised Cipher Cracking Using Discrete GANs
Arxiv
11+阅读 · 2018年1月15日
大家都在搜
壁画
笛卡尔
大型语言模型
ETHZ博士论文
时间序列
汽车智能化
智能推荐
大模型
洛克菲勒
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top