动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

AI 科技评论按：国际语言学会（ACL）下属的 SIGDAT 小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 日在比利时布鲁塞尔举行，另一个也有不小影响力的会议，ACL 下属的 SIGNLL 主办的计算自然语言学习会议 CoNLL 2018 也将与 EMNLP 共同召开，时间为 10 月 31 日到 11 月 1 日。

10 月 30 日（美国时间 10 月 29 日），CoNLL 2018 大会公布了论文奖。雷锋网 AI 科技评论介绍如下。

最佳论文奖

Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation

• 从本征评价和外部评价的对比中学习，揭开词嵌入中包含的多样化语言信息
  

• 论文摘要：随着单词嵌入（word embeddings）近年来获得巨大的成功，有人提出「并不存在完美的单词表征」的观点，因为不同的模型总会倾向于捕捉不同的语言成分，有时候甚至是互相冲突的成分， 比如语义还是句法，以及相似度还是关联性。在这篇论文中，作者们表明了每种词嵌入模型捕捉的信息实际上都比直接体现出的要多。无需任何额外的资源，一个改变模型的相似性顺序的线性变换就可以让它在这些方面展现出更好的表现，这为我们提供了新的视角来理解嵌入对多种语言信息的共同编码。除此之外，作者们也探索了本征评价方法与外部评价方法之间的关系，他们发现所用的线性变换对后续任务产生的影响中，对于无监督学习系统产生的影响比有监督学习系统更大。

• 论文地址：http://aclweb.org/anthology/K18-1028 

特别奖 - 受人类语言学习和处理启发法的最佳研究论文

Sequence Classification with Human Attention

• 利用人类注意力的序列分类

• 论文摘要：学习注意力函数需要非常大规模的数据，不过有很多自然语言处理任务都是对人类行为的模拟，在这篇论文中作者们就表明人类的注意力确实可以为 NLP 中的许多注意力函数提供一个不错的归纳偏倚。具体来说，作者们根据人类阅读语料时的眼睛动作追踪数据估计出了「人类注意力」，然后用它对 RNN 网络中的注意力函数进行正则化。作者们的实验表明，人类注意力在大量不同的任务中都带来了显著的表现提升，包括情感分析、语法错误检测以及暴力语言检测。
  

• 论文地址：http://aclweb.org/anthology/K18-1030

更多 CoNLL 2018 及 EMNLP 2018 报道，请继续关注 AI 科技评论。