【VLDB2022教程】从BERT到GPT-3 Codex:利用大型语言模型的潜力进行数据管理

2022 年 10 月 3 日 专知

大型语言模型最近在许多自然语言处理基准测试中提高了技术水平。最新一代的模型可以应用于各种任务,几乎不需要专门的训练。该技术为数据管理上下文中的应用程序创造了各种机会。本教程将向参与者介绍语言模型的基本背景,讨论使用语言模型的不同方法,并对可用的库和api进行概述和简短演示。生成自然语言的模型和GPT-3 Codex等完成程序代码或从自然语言指令生成代码的模型都将被考虑在内。最后,本教程将讨论数据库社区最近的研究,这些研究利用了传统数据库系统环境中的语言模型,或提出了基于它们的新系统架构。本教程针对数据库研究人员。不需要有语言模型的背景知识。本教程的目标是向数据库研究人员介绍最新一代的语言模型,以及它们在数据管理领域中的用例。

最近,随着大型“语言模型”的出现,自然语言处理(NLP)领域发生了革命性的变化,这些“语言模型”使用大量的无标记文本[35]进行训练。给定足够多的训练数据和可训练的参数,这样的模型能够处理广泛的任务,很少或不需要专门的训练[2]。这种模型在数据库领域的应用范围非常广泛。它的范围从新的接口[25,30]到新的系统架构[29],基于最新一代语言模型支持的数据表示和处理机制。本教程的目的是向数据库研究人员介绍这些模型提供的可能性,提供使它们可访问的库和api的指针[22,35],并回顾数据库社区利用这些模型的最新研究。本教程将介绍处理和生成自然语言文本的语言模型[4,6],以及从自然语言描述[3]生成程序代码的最新模型。它将包括例子和现场演示,为与会者提供对可解决问题范围的直觉。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“BGCD” 就可以获取【VLDB2022教程】从BERT到GPT-3 Codex:利用大型语言模型的潜力进行数据管理》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

【COLING2022教程】自然语言处理的不确定性估计教程
专知会员服务
29+阅读 · 2022年10月17日
知识增强预训练语言模型:全面综述
专知会员服务
89+阅读 · 2021年10月19日
【GPT-3作者亲解】超大型语言模型少样本学习,109页ppt
专知会员服务
107+阅读 · 2020年12月19日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
知识图谱表示学习与NLP应用,22页ppt
专知
3+阅读 · 2022年5月4日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年11月18日
Arxiv
11+阅读 · 2019年6月19日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员