听不懂梗怎么办？谷歌5400亿参数新模型可以给你解释笑点，还能通过emoji表情猜电影

会员服务 ·

听不懂梗怎么办？谷歌5400亿参数新模型可以给你解释笑点，还能通过emoji表情猜电影

2022 年 4 月 13 日 大数据文摘

大数据文摘出品

来看一个笑话。

我本该在下午5点开始写论文。但后来我就开始玩这个很酷的新语言模型，玩了10分钟，10分钟后，突然就晚上9点半了！

这个笑话可能比较简单，大家一听就懂，不就是说“快乐的时光总是觉得很短暂”嘛。

不过，你能想象这里面说的“很酷的新语言模型”，居然也能听懂这个笑话？

不仅能听懂，它甚至还能一本正经地解释这个笑话：

这个笑话是关于当你开心的时候，时间过得多么快。这个人本来应该在下午5点开始写一篇论文，但他们却开始玩语言模型。他以为自己只玩了1分钟，但实际上是4.5小时。

这个能力的背后就是谷歌的新模型——Pathways Language Model (PaLM)，一个可以解释笑话的模型，有了它，世界上就再也没有难懂的梗了。

论文地址：

https://arxiv.org/pdf/2204.02311v2.pdf

PaLM，5400亿参数，让世上没有难懂的梗

当然了，PaLM的设计之初，肯定不会只是想解释解释笑话。

去年，Google Research宣布了对PaLM的设想，PaLM会是一个单一的模型，可以在高效率的情况下推广到各个领域和任务。

在“PaLM: Scaling Language Modeling with Pathways”论文中，Google Research详细介绍了 Pathways Language Model (PaLM) ，这是一个5400亿参数的Transformer模型。

PaLM可以实现在多个TPU v4 Pods中高效地训练单个模型。Google Research在数百个语言理解和生成任务上对PaLM进行了评估，发现它在大多数任务上都达到了最先进的few-shot性能，在许多情况下都有很大的优势。

这其中就包括解释笑话的笑点在哪里。

事实上，解释笑话并非易事，这需要对多步逻辑推理、综合知识和深层语言理解的复杂组合的场景生成明确的解释。

但是凭借着强大的语言处理能力，PaLM还是很好地胜任了这项任务。

甚至是冷笑话()，PaLM也能很好地识别出来。比如别人问你，“斑马和雨伞有什么区别？”你可能会期待什么有意思的回答，但是答案是“一个是和马有关的有条纹的动物，另一个是你用来阻止雨水落到你身上的装置。”

这种无厘头的冷笑话，PaLM给出的解释是：

这个笑话是一个冷笑话（anti-joke）。笑话是答案是显而易见的，笑点在于你期待一个有趣的答案。

PaLM甚至能从emoji中猜出电影名字

除了解释笑话，PaLM在许多非常困难的任务上显示出突破能力。

Google Research对29项广泛使用的英语自然语言处理(NLP)任务进行了评估。在29个任务中的28个任务中，PaLM 540B超过了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，这些任务包括问答任务、完形填空和句子完成任务、 Winograd-style任务、上下文阅读理解任务、常识推理任务、 SuperGLUE任务和自然语言推理任务。