【EMNLP2020-CMU&字节跳动】基于预训练语言模型的句子嵌入研究

像BERT这样经过预训练的上下文表示在自然语言处理方面取得了巨大的成功。然而，未经微调的预训练语言模型中的句子嵌入发现句子的语义捕获效果较差。本文认为BERT嵌入中的语义信息没有得到充分利用。本文首先从理论上揭示了掩蔽语言模型训练前目标与语义相似度任务之间的理论联系，然后对BERT句子嵌入进行了实证分析。结果表明，BERT常常引入句子的非光滑各向异性语义空间，从而影响其语义相似度的表现。为了解决这个问题，我们提出将各向异性的句子嵌入分布转化为平滑的各向同性高斯分布，通过无监督目标学习的流进行归一化。实验结果表明，本文提出的基于BERT-flow的句子嵌入方法在各种语义文本相似度任务上都取得了显著的性能提升。该代码可在此https URL中获得。

https://arxiv.org/abs/2011.05864

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“BERTF” 可以获取《【EMNLP2020-CMU&字节跳动】基于预训练语言模型的句子嵌入研究》pdf专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源