GPT-3突然不香了？LeCun昨夜发帖：「人们对它抱有完全不切实际的期望」

---

  新智元报道  

来源：Facebook

编辑：QJP

【新智元导读】GPT-3是 OpenAI 开发的一种先进的语言处理模型，它非常擅长「炮制出类似人类的文本」。但被称为「人工智能教父」的 Yann LeCun 发帖否定了这个算法，并认为人们对 GPT-3这样的大规模语言模型能做什么抱有「完全不切实际的期望」。

GPT-3模型是一种自动生成文本程序，拥有破天荒的1750亿参数，它不仅可以用于写「论文」，也可以应用于「自动生成代码」，自今年5月发布以来，被业界视为最强大的人工智能语言模型。 

 

在GPT-3公开发布后的大约三个月时间里，它一直是AI届关注的焦点。自从近期API开放以后，GPT-3更是「成精」了，可以陪你从诗词歌赋谈到人生哲学，还可以画图表搞运维做PPT，真的是无所不能。

 

不过，被称为「人工智能教父」的Facebook首席人工智能科学家Yann LeCun在周二的Facebook帖子中批评了该算法：

            

他认为人们对于GPT-3这种大规模语言模型具有「不切实际的期望」。

 

GPT-3可以打破飞行高度，但「登月」需要完全不同的方法

 

LeCun表示，他在 Nabla 的朋友做了一项简单的解释性研究，打破了那些认为大规模语言模型可以用于医疗保健方面的期望。

 

GPT-3是一个语言模型，意味着可以向它提供一个文本，并要求它继续预测接下来的单词。

但GPT-3其实并不了解世界实际上是如何运作的，它只有一定程度的背景知识，只要这种知识存在于文本的统计数据中即可，但是这种认识是非常肤浅的，并且与潜在的现实世界脱节。

                 

同时 GPT-3 作为一种问答系统，其性能并不理想，反而是建立大量实体之间关系的知识图谱的效果是更好的。

 

作为一个对话系统，GPT-3也不是很好。同样地，其他被明确训练来与人互动的模型在这方面做得更好。

 

GPT-3 有时也很有娱乐性，而且可能作为一种创造性的辅助工具有点用处。

           

但是LeCun提到说，「 试图通过扩大语言模型的规模来建造智能应用，就像建造一架飞往月球的飞机。你可能会打破高度记录，但是登上月球其实需要一种完全不同的方法 」。

 

当前的一些方法很有可能成为良好的医疗应用的质量保证的基础，该系统可以对整个医学文献进行训练，并回答医生提出的问题。

 

但是从文本中汇集大量的医学操作知识仍然是一个非常重要的研究课题。

 

LeCun 引用了医疗AI公司 Nabla 的一项最近的实验，该实验发现GPT-3完全不足以在医疗环境中使用，因为GPT-3 编写出来连贯的句子与其推理或理解的意思不同。

 

在各种医疗场景中使用GPT-3进行测试后，Nabla 发现GPT-3能够形成连贯的句子与实际有用的句子之间存在巨大差异。

 

在某种情况下，GPT-3 无法将医疗费用中的物品费用相加，并且 在一些极为危险的情况下，GPT-3的结果实际上建议模拟患者杀死他们自己。

 

不止是LeCun，马库斯也「喷」过GPT-3

 

马库斯也不是第一次「喷」GPT-3了。

 

就在几个月前，马库斯就发表过对GPT-3的见解，他认为，GPT-3压根不了解它所谈论的世界，「you know nothing, GPT-3.... 」

              

进一步增加语料库只能让它产生那些看起来更可信的七拼八凑的话语，但无法弥补其对世界根本性理解的缺失。将来出了GPT-4，也还是会需要人工干预和筛选。

 

言外之意，尽管增加了这么多的参数，也只是表面上看「懂」得多了许多，但这种「懂」是没有灵魂和内核的，并没有从本质上破解人类世界的奥秘。

 

起因是其中一个读者提到，cherry-picking是一个巨大的问题，cherry-picking指的是人为的精挑细选，比如通顺有趣的句子。

            

「大部分GPT-3的样例都是人工筛选的」。 目前的结果只是把光鲜亮丽的cherry呈现在了眼前，还有一大堆成千上万的bad case怎么不说。

 

马库斯对GPT-3的「蔑视态度」，从他的置顶推文中就可以洞见。

 

GPT-3解决的问题变多了，但只是堆了更多参数

 

语言模型的目标仅仅是最大化模型在自然语言数据上的可能性， GPT-3使用的自回归意味着它会尽可能地预测下一个单词。

            

通俗来讲，GPT-3更多地关注语法和拼写等文本差异，而不是语义和逻辑连贯性，而后者才是智能的关键，当自回归模型接近完美时，想要继续提升，唯一的途径就是语义理解和逻辑构建。

 

在极端情况下，任何一个模型，如果其损失达到自然语言的香农熵，就会在任何方面与真正的人类作品完全无法区分，而且我们越接近它，损失的改善对质量的影响就越不容易察觉。

     香农熵： 由于语言固有的随机性，一个语言模型可能达到的理论上最低的损失，损失越低，语言越像「人话」。

 

换句话说，使用马尔可夫链将单词串起来可以让你完成50% 的任务，而另外的50%，需要你搞清楚语法、考虑跨段落的主题 ，更重要的是逻辑上保持一致。

             

GPT-3的重要之处在于，只要不断增加模型的大小，就可以不断降低损失，可能直到它达到文本的香农熵。 不需要聪明的架构或复杂的手工规则启发，只要把它放大，就可以得到一个更好的语言模型。

 

但是，如果这种语言模型隐藏在 GPT-X 的内部，那么我们该如何使用它呢？

 

可以直接用自然语言问它！它认为接下来会发生什么，给定一系列事件，它就能给出一个很好的答案。

 

不过也有reddit网友说，「各种各样的实验表明 GPT-3在世界建模中经常失败，虽然解决的问题变多了，但也只是添加了更多的参数而已 」。

 

你对于GPT-3是什么态度呢，在留言区讨论一下吧！

 

 

 

 

参考链接：

https://futurism.com/the-byte/godfather-ai-trashed-gpt3