BERT 在改变 NLP 格局

作者：Phillip Green是Informatics4AI的创始人兼首席执行官。

BERT使计算机能够更准确地理解语音，并实时智能地响应，正在改变NLP格局，并使聊天机器人大大提高智能化。

 

去年，我担心对话式AI永远扔不掉那顶笨蛋高帽。今天我很高兴地说，这个领域正取得重大进展，自然语言处理（NPL）即将迎来巨大变化。

NLP从愚笨变得聪明

首先，为了了解为什么事情变化如此之快，我们需要简单回顾一下NLP的历史。在上世纪80年代之前，大多数NLP系统以规则为基础，根源于美国语言学家Noam Chomsky的工作，他认为语法（转换生成语法）规则可用于理解语义关系，因而引导机器理解语音。然而到了80年代后期，机器学习算法变得越来越流行，开始从规则向统计模型转变。随着Word2vec、GloVe和FastText等单词嵌入的推出，2013年迎来了NLP的下一大飞跃。在读取大量文本并分析每个单词在数据集中的不同上下文中如何出现后，单词嵌入试图将单词的“含义”封装在向量中。其想法是，含义相似的单词会有相似的向量。这第一代单词嵌入的最大缺点是，每个单词只有一个向量，实际上它可能有多个含义（比如Mercury有行星、金属、汽车或罗马神等意思）。这些缺点归咎于这一事实：由于效率原因，早期的单词嵌入模型用小型神经网络来训练（浅训练）。然而谷歌发布BERT后，我们确实处于拐点。

什么让BERT如此惊艳？

三大优点：

• BERT是一种上下文模型，这意味着基于句子中所用单词的上下文生成单词嵌入，因此一个单词可以有多个嵌入。比如说，BERT会在下面两句话中为Mercury生成不同的嵌入：“Mercury（水星）在夜空中可以看见”和“Mercury（墨丘利）常常与希腊众神的奔跑飞快的信使Hermes混淆起来。”

• BERT支持迁移学习（transfer learning）。这被称为“NLP的ImageNet时刻。”谷歌已经在维基百科上预先训练了BERT，这种预先训练的模型现在可以用于其他更具体的数据集，比如贵公司的客户支持机器人。请记住，这种预先训练开销庞大，现在你可以跳过这个环节。因此，你的出发点是智能模型（用一般的人类语音来训练），而不仅仅是需要训练的算法。

• BERT可以针对一小组特定领域数据低成本、快速度地加以微调，可以获得比从头开始用同样这些特定领域数据集来训练更准确的结果。

太棒了！

BERT来到你附近的应用场景

但更令人兴奋的是，虽然AI和机器学习方面的许多变化都在幕后出现，但这下一代NLP的大部分成果已经应用于你我每天在使用的消费级产品中。

如果你使用Gmail，就知道我到底在说什么。

• 建议回复电子邮件——BERT

• 建议句子中的下一个单词——BERT

我喜欢Gmail中的这些功能，而BERT现在用于许多对话式AI应用场景。所以，你的聊天机器人应该会变得更聪明。

数据依然是王者

请注意，两个关键要素使谷歌得以构建BERT。第一个是谷歌的庞大数据库及持续改进BERT的能力。不妨回到自动建议下一个单词的Gmail例子。每当你接受建议并使用该单词，你就是在训练模型。每当你继续输入并使用建议的不同单词，你就是在训练模型。如果使用Gmail让谷歌成为全球最聪明的BERT实践者，小公司怎么能赶得上？

摩尔定律依然适用

帮助取得BERT等进步的第二个关键要素是，计算机的速度和性能不断提高，尤其是英伟达的GPU和谷歌的TPU。请记住，由于计算的现状和成本，早期的单词嵌入模型不得不很高效，BERT效率低得多，但计算能力完全赶了上来。事实上，英伟达刚宣布它支持BERT，现在声称其AI平台拥有最出色的BERT训练功能。此外，英伟达声称可以获得很快速的预测（响应），实时聊天应用中需要快速预测（响应）。实际上，英伟达已制定了初创加速计划（Inception Program），帮助对话式AI初创公司。

结束语

BERT和类似的模型改变了NLP的游戏规则。计算机可以更准确地理解语音，并实时智能地响应。如果NLP的笨蛋高帽还没有被完全扔掉，很快就会扔掉。

你对NLP和BERT的现状有何看法？

英文原文链接： https://www.kdnuggets.com/2019/09/bert-changing-nlp-landscape.html