如何使机器像人类和动物一样高效地学习?如何让机器了解世界运作方式并获得常识?如何使机器学会推理和计划?当前的AI架构,比如自回归大型语言模型,在这方面存在不足。我将提出一种模块化的认知架构,可能构成回答这些问题的途径。该架构的核心是一个预测性世界模型,该模型允许系统预测其行动的后果,并规划一系列行动来优化一组目标。这些目标包括确保系统可控性和安全性的保障措施。世界模型采用了一种层次化联合嵌入预测架构(H-JEPA),通过自监督学习进行训练。JEPA学习感知的抽象表示,这些表示同时最大限度地提供信息且最大限度地可预测。相关的工作论文可在此处获得:https://openreview.net/forum?id=BZ5a1r-kVsf

成为VIP会员查看完整内容
36

相关内容

杨立昆(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)(原中文译名:扬·勒丘恩)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。
【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
43+阅读 · 2023年5月30日
【AAAI2023】SEPT:迈向可扩展和高效的视觉预训练
专知会员服务
11+阅读 · 2022年12月14日
【NeurIPS2022】可解释机器学习的安全性:一种最大偏差方法
【CVPR2022】以人为中心感知的多模态预训练
专知会员服务
29+阅读 · 2022年3月28日
【AAAI2022】领域自适应的主动学习:一种基于能量的方法
专知会员服务
43+阅读 · 2021年12月6日
【NeurIPS 2020】生成对抗性模仿学习的f-Divergence
专知会员服务
25+阅读 · 2020年10月9日
AI新视野 | 数据蒸馏Dataset Distillation
人工智能前沿讲习班
31+阅读 · 2019年6月14日
下载 | 384页NLP多任务联合学习教程(PPT)
机器学习算法与Python学习
20+阅读 · 2018年11月22日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2008年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
147+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员