动态 | FAIR 最新论文：一种不需要训练就能探索句子分类的随机编码器

2019 年 1 月 31 日 AI科技评论

AI 科技评论按，作为人工智能的重要方向之一，NLP 领域的研究目前开展得如火如荼。1 月 30 日，facebook 人工智能研究院（FAIR）发布了一篇博文，公布了他们的论文「No Training Required: Exploring Random Encoders for Sentence Classification 」。

这篇论文被发布在 arxiv 上，主要讲了一种不需要训练就能探索句子分类的随机编码器。论文的主要介绍如下：

研究内容：

这是一个强大的，新颖的语句嵌入基线，它不需要进行任何训练。在没有任何额外训练的情况下，我们探索了用预训练单词嵌入来计算句子表达方式的各种方法。其目的是让语句嵌入具有更坚实的基础：1）看看现代句子嵌入从训练中获得了多少好处（令人惊讶的是，事实证明，这是微乎其微的）；2）为该领域提供更合适（也更强大）的基线。

它是如何工作的：

句子嵌入是一种矢量表示方法，其中句子被映射到表示其意义的数字序列。这通常是通过组合函数转换单词嵌入来创建的。句子嵌入是自然语言处理（NLP）中的一个热门话题，因为它比单独使用单词嵌入更容易进行文本分类。鉴于句子表达研究的快速进展，建立坚实的基线是很重要的。

我们开始使用当前最先进的方法来确定有哪些收获，而不是采用随机的方法，这些随机的方法只结合了预训练的单词嵌入。随机特性的作用在机器学习社区中早已为人所知，因此我们将其应用到这个 NLP 任务中。我们探索了三种方法：随机嵌入投影包、随机 LSTM 和回声状态网络。我们的研究结果表明，句子嵌入中的提升很大程度上来自于词语表征。我们发现，对经过预训练的单词嵌入的随机参数化构成了一个非常强的基线，有些时候，这些基线甚至与诸如 SkipThought 和 InferSent 等著名的句子编码器的性能相匹配。这些发现为今后的句子表征学习的研究提供了强有力的基础。我们还对句子分类评估的一些合适的实验方案进行了认真的探讨，并对今后的研究提出了建议。

为什么它如此重要：

尽管最近对句子编码的研究较多，但是 NLP 的研究者们对于词汇嵌入和句子嵌入之间的关系仍然知之甚少。随着该领域研究的快速进展，对不同方法进行比较并不总是正确的。每隔一段时间我们需要往前回顾，以便对现有的最先进的方法产生更深入地理解，并分析这些方法为什么有效，这一点很重要。通过对句子嵌入的研究提供新的见解，并设置更强的基线，我们可以提高对神经网络表示和理解语言的原理的认识。他们在 Github 上分享了他们的代码 https://github.com/facebookresearch/randsent 。

论文原文见：

No Training Required: Exploring Random Encoders for Sentence Classification

https://arxiv.org/abs/1901.10444

via：https://code.fb.com/ml-applications/random-encoders/