**人工与动物能够理解物理世界,具有常识,拥有持久记忆,可以推理,并能规划复杂的子目标和行动序列。这些智能行为的基本特征目前仍超出当前最强大的AI架构(例如自回归大型语言模型,Auto-Regressive LLMs)的能力范围。**我将介绍一种可能通向人类水平AI的认知架构。该架构的核心是一个预测性的世界模型,它使系统能够预测其行动的后果,并规划一系列能够实现设定目标的行动序列。目标可能包括一些确保系统可控性和安全性的“护栏”。世界模型采用了一种联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA),主要通过观察利用自监督学习(self-supervised learning)进行训练。JEPA同时学习一个编码器,以提取感知信息中最具信息量的表示,以及一个预测器,用于从当前感知表示和一个可选的行动变量中预测下一个感知的表示。我们展示了在图像和视频上训练的JEPA能够为图像和视频理解生成良好的表示,并且可以检测视频中的非物理事件。最后,我们展示了可以通过搜索能产生预期终态的行动序列来实现规划,该终态匹配给定的目标状态。

关于讲者

Yann LeCun,Meta副总裁兼首席AI科学家,纽约大学教授,ACM图灵奖得主。Yann LeCun是Meta的副总裁兼首席AI科学家,纽约大学教授。他是Meta-FAIR和纽约大学数据科学中心的创始主任。在获得索邦大学博士学位并在AT&T和NEC担任研究职务后,他于2003年加入纽约大学,2013年加入Meta。因其在人工智能方面的贡献,他于2018年荣获ACM图灵奖,并且是美国国家科学院和法国科学院的院士。

关于哥伦比亚工程人工智能讲座系列

哥伦比亚工程的人工智能讲座系列探讨人工智能领域最前沿的主题,并邀请正在塑造未来技术格局的思想家和领导者前来校园。加入我们,一同揭开AI在当今快速发展的世界中蕴含的复杂性与可能性。

成为VIP会员查看完整内容
34

相关内容

杨立昆(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)(原中文译名:扬·勒丘恩)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。
71页ppt!指令微调和RLHF讲座(NYU CSCI 2590) 附视频
专知会员服务
51+阅读 · 2023年5月20日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
147+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
71页ppt!指令微调和RLHF讲座(NYU CSCI 2590) 附视频
专知会员服务
51+阅读 · 2023年5月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员