GPT-3 又增加了两项新功能:编辑与插入,可以修改现有内容、而不仅是预测文本。目前已开放 API。
自2020年4月发布,GPT-3 就凭借 1750 亿参数的规模在人工智能领域引起了巨大轰动,又凭借对各类问题的「在线热心问答」成功出圈,「预言家」般的魔力收获了一大批追随者。如今,已过去近两年,OpenAI 发布新功能,可见在 GPT 系列上,OpenAI 对「魔幻」语言模型的梦想仍在继续发光发热。
事实上,在这两年内,OpenAI 一直在不断更新 GPT-3。比如,去年11月,OpenAI 就称 GPT-3 掌握了一定的逻辑推理能力,做小学数学题能得 55 分(差一点就及格!)。
那么,这次 OpenAI 给 GPT-3 赋上的新魔法又有什么神奇之处呢?一起来看看。
根据 OpenAI 的官博介绍,他们发布的 GPT-3 和 Codex 新版本可以在现有文本的基础上编辑或插入新的内容。
这与旧版本不同:旧的 GPT-3 是一路写下来,就像在单行道上驾驶;而新的 GPT-3 可以修改现有内容,例如重写一段文本或代码,是行驶在可以变道、掉头的双向多行道上。
啥意思呢?就是 GPT-3 有了一定的「改错」能力。用中国的古话说,不至于过了这个村就等于过了这个店。实在错过了,也可以绕路回来,找到心仪的目标点。
当然,「插入」并非新版 GPT-3 首创,此前 GitHub Copilot 也有这项功能,并取得了不错的成绩:
图注:GitHub Copilot 在代码尾部直接添加代码
旧的 GPT-3 与 Codex 的「插入」功能也是像 GitHub Copilot 一样,是在已有文本的基础上,在现有文本的结尾处添加内容。
而新的 GPT-3 与 Codex 是可以在文本中间编辑、修改或添加新的内容。这显然更符合我们人类的思考与写作方式:往往写了一大堆话后,由于「对自身的要求过高」,或达不到预期时,就要推倒重来。
(上述情况常见于给领导写工作报告、码代码修bug、七夕给心仪的女生写情书等等正当的场景中……)
(如果你也有这样的烦恼,GPT-3 就是你的好朋友)
插入
依赖于原有的技术积累,GPT-3 在判断「如何在文本中插入新内容」上的功力已经达到了较高的水平。
如下图示例:GPT-3 希望在大纲内的两个节标题中填写文本。如果没有下文的内容参考,模型可能会生成与 Section 2 无关的文本;如果考虑到下文,模型就会生成一段能够良好连接两部分内容的文本。
在代码编辑中,「插入」功能有很大的作用。OpenAI表示,他们最初研究「插入」功能的动机是 Codex,原因是:在软件开发中,程序员通常需要参考前后的代码,在现有文档的中间插入新的代码。
如下图示例:GPT-3 能够顺利补全缺失的函数 prune,同时将已编写的代码联系在一起。同样,这个功能是需要参考上下文的。
编辑
需要注意的是,此处的「编辑」更多是「修改」现有文本,而不是像旧的 GPT-3 一样,沿着已有文本完成后面的写作。
We’ve also observed edits to work well on empty prompts, thus enabling text generation similar to the completions endpoint. In the example above, we use edits to (1) add a poem, (2) change the poem to be in first-person, (3) transform the poem into a letter, with the appropriate salutation and signature.
通过将现有文本指定为「提示」,并给出如何修改的指示,新的 GPT-3 可以更改现有文本的语气与结构,或进行有针对性的更改,例如修改单词的拼写。
例如,在下面的示例中,使用新版 GPT-3 可以进行以下「编辑」:1)添加一首诗;2)将这首诗更改为第一人称;3)将这首诗转换为一封带有适当称呼和签名的字母。
在代码编写中,「编辑」端点可以重构、添加文档,翻译编程语言以及更改编码风格等等。
如下图示例,模型可以从 JSON 输入(包含按人口排名的城市)开始。在第一次编辑中,Codex 从 JSON 中删除了排名字段,并将州缩写更改为全名。第二次编辑则将 JSON 文件转换为从函数返回的 YAML。
2021年初,李宏毅曾称 GPT-3 是「来自暗黑大陆的模型」。如今新版 GPT-3 在文本编辑上增加了更「类人」的功能,不知李老师会如何评价?
此前 GPT-3 刚发布时,AI科技评论也发过
GPT-3 的50种玩法
,包括写作、提问、回复邮件等等。但当时,由于 GPT-3 的一些测试回答缺乏逻辑,且无法给出依据,所以曾被抨击。
比如,有实验者向 GPT-3 提问:「新冠疫情何时结束?」当时,GPT-3 的回答是:「2023年12月31日。」
因为这是一个未来的日子,所以我们只能等待,等到那一天,才能验证 GPT-3 的回答是否正确。那么,若幸运,新冠疫情能够在2023年12月31日之前就结束,拥有了「中途改错」能力的 GPT-3,是否会修改这个答案呢?
无可否认,OpenAI 推出的新版 GPT-3 拥有了更接近人类表达与思考逻辑的能力,但距离如美剧《疑犯追踪》里超级智慧大脑的魔力还有多久?或许,这还需要时间的验证。
1.https://openai.com/blog/gpt-3-edit-insert/
2.https://mp.weixin.qq.com/s/KmCLi1W5RVrVvOPUzzMpjA