大型生成模型带来了惊人的成果,并彻底改变了人工智能。在本论文中,我将讨论我在推进这些模型基础上的研究,重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。首先,我将描述我们为消除Transformer架构的上下文大小限制所做的努力。我们的建模和训练方法,包括BlockwiseTransformer和RingAttention,允许在保持可扩展性的同时实现近乎无限的上下文大小。接下来,我将讨论大上下文在世界模型学习和决策中的应用。这包括Large World Model,这是世界上首个人工智能,能够在百万个标记的上下文中同时对文本、图像和小时级视频进行建模。然后,我将介绍我的研究,旨在让AI能够发现数据并自主学习。我将讨论我们在无需人为指定领域知识的情况下学习游戏技能的工作,为超越模仿现有数据的学习铺平道路。最后,我将展望我们应构建的下一代大型生成模型,重点关注高效扩展、推理以及在一般领域中的发现能力的进展。

成为VIP会员查看完整内容
36

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【斯坦福博士论文】生成模型的视觉与行为
专知会员服务
29+阅读 · 7月11日
【伯克利博士论文】控制长篇大型语言模型输出
【干货书】优化算法,232页pdf
专知
25+阅读 · 2022年9月8日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
23+阅读 · 2019年8月24日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
14+阅读 · 2019年1月24日
资源 | 机器学习必知的15大框架,欢迎补充!
数据分析
19+阅读 · 2018年9月11日
手把手教你如何部署深度学习模型
全球人工智能
15+阅读 · 2018年2月5日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2012年12月31日
Arxiv
149+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
384+阅读 · 2023年3月31日
Arxiv
64+阅读 · 2023年3月26日
Arxiv
133+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员