LeCun预言AGI:大模型和强化学习都是斜道!我的「世界模型」才是新路

2022 年 6 月 25 日 新智元



  新智元报道  

编辑:袁榭

【新智元导读】2022年6月24日,Yann LeCun接受《MIT科技评论》采访,阐述了他心目中AI的未来。

AI界当代最著名巨擘之一、Meta的AI实验室灵魂人物Yann LeCun,长期致力于让机器对世界的运转理念有基础了解,也就是让AI获得常识。

LeCun过去的做法,是用视频选段训练神经网络,让AI逐个像素地预测日常活动视频下一帧将会出现啥。不出人意料地,他自己承认这途径撞上了铁板。

在数月到一年半之间的思考后,LeCun对下一代AI有了新的想法。


AI新路径


在《MIT科技评论》的采访中,LeCun勾勒出他的新研究路径,称如此会给机器赋予探索世界的常识基础。

对LeCun而言,这就是打造AGI(通用人工智能)的第一步。

能像人一样思考的机器,在AI业界诞生时就是指导性愿景,同时也是争议最大的理念之一。

不过LeCun的新路径或许还很不完备,引来的疑问可能比获得的答案还要多。最大的疑问在于,LeCun自己承认了他还不知道如何造出自己所描述的那种AI。

此路径的核心是个能以与之前不同方法审视、学习真实世界的神经网络。LeCun终于放弃了让AI逐个像素猜下一帧视频,只让新的神经网络学会完成任务必备的关键知识。


然后LeCun打算将这个神经网络与另一个被称为「配置器」的神经网络配对。「配置器」专管决定哪些细节是主神经网络必须学会的、并照此来自动调节主系统。

对LeCun来说,AGI是人类与未来科技互动的不可或缺部分。当然此展望和他押注全副身家搞元宇宙的东家Meta公司不谋而合。

LeCun说,在10-15年间,取代现在智能手机地位的将是AR眼镜。AR眼镜上就必备能辅助人类日常活动的虚拟智能助手。如果这些助手要起最大作用,那必然或多或少要跟得上人脑智能才行。

「世界模型」是AGI核心


LeCun最近热衷的「世界模型」,按他说就是大多数动物大脑的基础运转模式:为真实世界跑个模拟。

动物从婴儿期开始就用预估-试错方法来发育智能。幼孩们通过观察真实世界的运动与挫折,在生命的前几个月就发育出了智能的基础。

观察一个小球掉个几百次,普通婴儿就算没上过基础物理课、学过牛顿三定律,也对重力的存在与运作有基础认知。

所以这种直觉性/默会性推理,被常人称作「常识」。人类就是通过常识来认知真实世界的大多数可能未来与不可能幻想,来预见自己的行为后果并据此做出决策。

如此的人智既不需要像素级精确细节,也不需要完备的物理学参数库。就算有人没有视力、或者是个文盲,一样可以正常发挥智能。


但教机器学会常识就很难。当下的神经网络要被展示数千次示例后,才能开始模糊发现内含规律模式。

LeCun表示,智能的基础是预测即刻未来的常识能力。不过在放弃让AI逐像素预测后,LeCun表示要换个思路
LeCun打了个比方:想象下你捏根钢笔悬空放手,常识告诉你这根钢笔必然会坠落,但掉落的精确位置则不在人智预测范围内。

按过去的AI开发模式,AI要跑复杂的物理学模型,来预测钢笔是否会坠落、同时求得坠落的精确位置。

现在LeCun努力让AI只预测出钢笔会坠落的常识结论,至于精确位置不在求解范围内。

LeCun说这就是「世界模型」的基本模式。


LeCun表示他已经造出了可以完成基础客体识别的「世界模型」早期版本,现在在致力于训练它学会上述常识性预测。

不过「配置器」在此中的功用,LeCun说自己还没搞明白。

LeCun想象中的「配置器」AI,是整个AGI系统的控制元件。它将要决定「世界模型」在任何时刻需要做出何等常识性预测、并调适「世界模型」为此该处理的细节数据。

LeCun现在坚信「配置器」必不可少,但不知道怎么训练一个神经网络来做到这效果。「我们需要摸索出可行的技术清单来,而这个清单现在还不存在。」

在LeCun的愿景中,「配置器」和「世界模型」是未来AGI基础认知架构的两大核心部分,在此之上才能发展出感知世界的认知模型、驱使AI调整行为的激励模型等等。

LeCun称,如此神经网络就能做到每部分都在成功模拟人脑。比如「配置器」和「世界模型」起了前额叶的作用,激励模型是AI的杏仁体,等等。


认知架构、不同层面细节的预测模型,这些都是多年来业界中既有的一派观点。不过当深度学习成为AI业界主流后,很多此类老点子就显得过时。

现在LeCun重拾传统智慧:「AI研究界把这些东西忘掉好多了。」

大模型和强化学习都是死路


之所以重走旧路,是因为LeCun坚信现在的业界主流路径已经走进死胡同。

关于如何做出AGI来,现在AI业界有两种主流观点。

一是很多研究者坚信到搞出乌龙的路径:就像OpenAI家的GPT系列和DALL-E系列那样,模型越大越好,大到超过临界点,AI就觉醒人智了。

二是强化学习:不断地试错,并按试错结果奖惩AI。这是DeepMind家做各种棋牌AI、游戏AI的路数。这种路径的信徒认为,只要奖励激励设定对头,强化学习终将造出真正AGI。

Lecun表示在座的两种人都是垃圾:

「无限扩张现有大语言模型的量级,最后就能做出人类水平的AI?这种荒唐论调,我一秒钟都没信过。这些模型就只能单纯捯饬各种文本与图像数据,完全没有真实世界的直接体验。」

「强化学习要用巨量数据才能训练模型执行最简单任务,我不认为这种办法有机会做出AGI来。」


业内人对LeCun的观点有支持也有反对。如果LeCun的愿景实现,AI将会成为不亚于互联网的下一代基础高性能技术。但他的声张并不包括自家模型的性能、激励机制、控制机制等等。

不过这些缺陷都是小事,因为不管褒贬,业内人士一致认为要面临这些短板还是久远以后的事。因为即使LeCun也没法在当下马上做出AGI来。

Lecun自己也表示承认此形势,他称自己只希望为新的理论路径播种、让后来者于此基础上建构出成果。

「达到此目标,需要太多人付出太多努力。我现在提出这些,只是因为我认为这条路才是最终的正路。」

就算做不到这点,LeCun也希望说服同行不要单单死盯着大模型和强化学习,最好打开思路。「我讨厌看到大家浪费时间。」

业界反应:褒贬皆有


另外一名AI界泰斗、与LeCun交情好的Yoshua Bengio表示乐见老友圆梦。

「Yann说这些已经说了有日子了,不过看到他整全性地把各种言说归纳到一处,我还是蛮高兴的。然而这些只是研究方向申请而非结果呈报,大家通常只在私底下分享这些,公开聊的风险挺大。」


DeepMind里牵头开发游戏AI AlphaZero的David Silver不赞成LeCun对自己项目的批评,不过欢迎他实现愿景。「LeCun描述的世界模型的确是个令人兴奋的新点子。」

加州圣菲研究所的Melanie Mitchell则赞成LeCun:「业界真的不常在深度学习社群里看到这种观点。但大语言模型真的既缺记忆,又没有能担纲的内在世界模型骨干。」

谷歌大脑的Natasha Jaques不同意:「大家已经看到大语言模型极具效率,也混杂了相当多人类知识。没语言模型,我怎么升级LeCun提出的这个世界模型?就算人类学习,途径也不止亲身经历,还包括口口相传。」


参考资料:
https://www.technologyreview.com/2022/06/24/1054817/yann-lecun-bold-new-vision-future-ai-deep-learning-meta/



登录查看更多
2

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
自主机器智能!图灵奖得主Yann LeCun指明下一代AI方向
专知会员服务
53+阅读 · 2022年6月29日
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
129+阅读 · 2020年7月10日
LeCun领导下的Meta AI,押注自监督
机器之心
0+阅读 · 2022年7月6日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年9月6日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员