作文写到8000字发现中间写错了?新版GPT-3:别怕,我可以改

2022 年 3 月 17 日 大数据文摘

大数据文摘授权转载自AI科技评论
作者:西西
编辑:陈彩娴

刚刚,OpenAI 在官博与推特上宣布:

GPT-3 又增加了两项新功能:编辑与插入,可以修改现有内容、而不仅是预测文本。目前已开放 API。

立即收获过千点赞。


下面立即有热心网友评论:
怎么样用这个点子创业?有人可以给我点建议吗?

另一个网友回复:
你可以问GPT-3。(哈哈被戳中笑点)


自2020年4月发布,GPT-3 就凭借 1750 亿参数的规模在人工智能领域引起了巨大轰动,又凭借对各类问题的「在线热心问答」成功出圈,「预言家」般的魔力收获了一大批追随者。如今,已过去近两年,OpenAI 发布新功能,可见在 GPT 系列上,OpenAI 对「魔幻」语言模型的梦想仍在继续发光发热。

事实上,在这两年内,OpenAI 一直在不断更新 GPT-3。比如,去年11月,OpenAI 就称 GPT-3 掌握了一定的逻辑推理能力,做小学数学题能得 55 分(差一点就及格!)。

那么,这次 OpenAI 给 GPT-3 赋上的新魔法又有什么神奇之处呢?一起来看看。

「编辑」与「插入」


根据 OpenAI 的官博介绍,他们发布的 GPT-3 和 Codex 新版本可以在现有文本的基础上编辑或插入新的内容。

这与旧版本不同:旧的 GPT-3 是一路写下来,就像在单行道上驾驶;而新的 GPT-3 可以修改现有内容,例如重写一段文本或代码,是行驶在可以变道、掉头的双向多行道上。

啥意思呢?就是 GPT-3 有了一定的「改错」能力。用中国的古话说,不至于过了这个村就等于过了这个店。实在错过了,也可以绕路回来,找到心仪的目标点。


当然,「插入」并非新版 GPT-3 首创,此前 GitHub Copilot 也有这项功能,并取得了不错的成绩:

图注:GitHub Copilot 在代码尾部直接添加代码

旧的 GPT-3 与 Codex 的「插入」功能也是像 GitHub Copilot 一样,是在已有文本的基础上,在现有文本的结尾处添加内容。

而新的 GPT-3 与 Codex 是可以在文本中间编辑、修改或添加新的内容。这显然更符合我们人类的思考与写作方式:往往写了一大堆话后,由于「对自身的要求过高」,或达不到预期时,就要推倒重来。

(上述情况常见于给领导写工作报告、码代码修bug、七夕给心仪的女生写情书等等正当的场景中……)

(如果你也有这样的烦恼,GPT-3 就是你的好朋友)

插入


依赖于原有的技术积累,GPT-3 在判断「如何在文本中插入新内容」上的功力已经达到了较高的水平。


如下图示例:GPT-3 希望在大纲内的两个节标题中填写文本。如果没有下文的内容参考,模型可能会生成与 Section 2 无关的文本;如果考虑到下文,模型就会生成一段能够良好连接两部分内容的文本。


在代码编辑中,「插入」功能有很大的作用。OpenAI表示,他们最初研究「插入」功能的动机是 Codex,原因是:在软件开发中,程序员通常需要参考前后的代码,在现有文档的中间插入新的代码。

如下图示例:GPT-3 能够顺利补全缺失的函数 prune,同时将已编写的代码联系在一起。同样,这个功能是需要参考上下文的。


插入功能可以在已发布的测试版 API 中试用。

编辑


需要注意的是,此处的「编辑」更多是「修改」现有文本,而不是像旧的 GPT-3 一样,沿着已有文本完成后面的写作。


We’ve also observed edits to work well on empty prompts, thus enabling text generation similar to the completions endpoint. In the example above, we use edits to (1) add a poem, (2) change the poem to be in first-person, (3) transform the poem into a letter, with the appropriate salutation and signature.


通过将现有文本指定为「提示」,并给出如何修改的指示,新的 GPT-3 可以更改现有文本的语气与结构,或进行有针对性的更改,例如修改单词的拼写。

例如,在下面的示例中,使用新版 GPT-3 可以进行以下「编辑」:1)添加一首诗;2)将这首诗更改为第一人称;3)将这首诗转换为一封带有适当称呼和签名的字母。


在代码编写中,「编辑」端点可以重构、添加文档,翻译编程语言以及更改编码风格等等。

如下图示例,模型可以从 JSON 输入(包含按人口排名的城市)开始。在第一次编辑中,Codex 从 JSON 中删除了排名字段,并将州缩写更改为全名。第二次编辑则将 JSON 文件转换为从函数返回的 YAML。


新版 GPT-3 怎么玩?


2021年初,李宏毅曾称 GPT-3 是「来自暗黑大陆的模型」。如今新版 GPT-3 在文本编辑上增加了更「类人」的功能,不知李老师会如何评价?


此前 GPT-3 刚发布时,AI科技评论也发过  GPT-3 的50种玩法 ,包括写作、提问、回复邮件等等。但当时,由于 GPT-3 的一些测试回答缺乏逻辑,且无法给出依据,所以曾被抨击。

比如,有实验者向 GPT-3 提问:「新冠疫情何时结束?」当时,GPT-3 的回答是:「2023年12月31日。」

因为这是一个未来的日子,所以我们只能等待,等到那一天,才能验证 GPT-3 的回答是否正确。那么,若幸运,新冠疫情能够在2023年12月31日之前就结束,拥有了「中途改错」能力的 GPT-3,是否会修改这个答案呢?

无可否认,OpenAI 推出的新版 GPT-3 拥有了更接近人类表达与思考逻辑的能力,但距离如美剧《疑犯追踪》里超级智慧大脑的魔力还有多久?或许,这还需要时间的验证。

参考链接:

1.https://openai.com/blog/gpt-3-edit-insert/

2.https://mp.weixin.qq.com/s/KmCLi1W5RVrVvOPUzzMpjA



点「在看」的人都变好看了哦!
登录查看更多
0

相关内容

《人工智能安全测评白皮书》,99页pdf
专知会员服务
367+阅读 · 2022年2月26日
【干货书】《日常算法》,154页pdf
专知会员服务
55+阅读 · 2022年1月22日
【斯坦福经典书最新版】语音语言处理,653页pdf
专知会员服务
51+阅读 · 2021年1月1日
【GPT-3作者亲解】超大型语言模型少样本学习,109页ppt
专知会员服务
107+阅读 · 2020年12月19日
需求评审中,这3个坑请尽量避免
人人都是产品经理
0+阅读 · 2022年2月28日
3000字,解释一下「搜索记录」功能怎么做
人人都是产品经理
0+阅读 · 2021年11月18日
可能是 Android 上最好用的写作 App
少数派
10+阅读 · 2018年12月21日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年4月20日
Arxiv
35+阅读 · 2020年1月2日
Arxiv
23+阅读 · 2018年8月3日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员