“悟道”公开课第二讲丨如何优化大模型输出结果

2021 年 11 月 15 日 PaperWeekly
图片出处:https://bmk.sh/2020/05/29/GPT-3-A-Brief-Summary/

如果你错过了上一波深度学习引发的NLP范式转换,不要再错过这一波超大预训练模型的崛起。

现在,有一个重要机会摆在你面前:“悟道”系列公开课正式开课 (地址:http://live.bilibili.com/21887724) ,手把手教你使用著名大规模预训练模型“悟道”开发自己的智能应用,更有 120万+ “悟道之巅”比赛奖金等你拿!


事实上,以OpenAI 的GPT-3 在 2020年问世为起点,这几年,预训练模型对NLP领域带来了颠覆性的影响为代表。大量令人印象深刻的演示如雨后春笋般涌现,它们利用GPT-3的泛化能力来完成各式各样的任务。最令人兴奋的是,即使在如此大规模的情况下,模型在性能上仍能平稳扩展而非停滞不前,这也就意味着,随着参数的增加,预训练模型还可以表现得更好。



图片来源:李宏毅ppt

这是一个相当有诱惑力的承诺。但是有一道门槛横亘在我们面前:它没有公开发布。 

OpenAI 选择将其商业化,并仅通过付费 API 提供访问权限。鉴于 OpenAI 的盈利性质,这个操作无可厚非。因此,自去年以来,不少商业机构和学术团队都在致力于创建自己的 GPT-3 。

其中最值得留意的一个超大模型是“悟道”。

“悟道”由智源研究院学术副院长、清华大学唐杰教授领衔,包括北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合开发,参数达到1.75万亿参数。

目前悟道已经进化到2.0版本。它已经不仅仅是个语言模型,正在攀登文本和视觉两大座大山的悟道2.0,在问答、绘画、作诗、视频等任务中逼近图灵测试,并训练出包括中文、多模态、认知、蛋白质预测在内的系列模型,是我国人工智能应用基础设施建设的里程碑。

另一个激动人心的好消息是,现在,“悟道”核心团队将推出首档公开课,手把手教你理解并应用“悟道”,进一步挖掘“悟道”的潜力。

11月15日悟道之巅系列公开课第二讲将于晚7点开课!第二讲将由悟道团队的研发工程师杜冀中为大家详细讲解如何针对应用场景对悟道大模型的输出结果进行优化。

如果你错过了第一讲课程内容也无需担心,直戳下方链接查看第一讲课程全程回顾:
https://www.bilibili.com/video/BV1M44y1v7FJ?spm_id_from=333.999.0.0

“悟道之巅”系列公开课第二讲详情如下:


快来预约学习吧(地址:http://live.bilibili.com/21887724)!“数据实战派”将同步发出系列课程相关内容,敬请关注!

 附:“悟道之巅”大赛信息 

1、大赛赛程
8月23日,初赛启动
10月,先锋奖评选
12月下旬,初赛提交截止,入围队伍答辩,角逐最终大奖。

2、奖项设置
大赛奖金:100万元
一等奖:1支队伍,20万元
二等奖:2支队伍,10万元
三等奖:6支队伍,5万元
优胜奖:30支队伍,1万元
(另有20万特殊奖项设置,详情见比赛官网)

3、报名和交流
大赛官网:https://wudaoai.cn/summit  (点击文末“阅读原文”即可访问)
比赛讨论区:https://baai.org/l/wudaosummit
微信交流群:

登录查看更多
0

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
吴恩达知乎问答:如何系统学习机器学习?
专知会员服务
20+阅读 · 2022年4月10日
超大规模智能模型产业发展报告(附下载)
专知会员服务
76+阅读 · 2021年9月25日
专知会员服务
32+阅读 · 2021年9月7日
小米在预训练模型的探索与优化
专知会员服务
18+阅读 · 2020年12月31日
【干货书】Pytorch自然语言处理,210页pdf
专知会员服务
164+阅读 · 2020年10月30日
专知会员服务
44+阅读 · 2020年3月6日
黑箱优化:大规模语言模型的一种落地方式
PaperWeekly
0+阅读 · 2022年1月20日
“悟道”公开课第五讲 | 应用部署及思路分享
PaperWeekly
0+阅读 · 2021年11月22日
不卷学术了,这次卷一波NLP实战落地经验
夕小瑶的卖萌屋
0+阅读 · 2021年8月3日
聊一聊“超大模型”
夕小瑶的卖萌屋
1+阅读 · 2021年7月6日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
23+阅读 · 2020年9月16日
VIP会员
相关VIP内容
吴恩达知乎问答:如何系统学习机器学习?
专知会员服务
20+阅读 · 2022年4月10日
超大规模智能模型产业发展报告(附下载)
专知会员服务
76+阅读 · 2021年9月25日
专知会员服务
32+阅读 · 2021年9月7日
小米在预训练模型的探索与优化
专知会员服务
18+阅读 · 2020年12月31日
【干货书】Pytorch自然语言处理,210页pdf
专知会员服务
164+阅读 · 2020年10月30日
专知会员服务
44+阅读 · 2020年3月6日
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员