The problem of measuring sentence similarity is an essential issue in the natural language processing (NLP) area. It is necessary to measure the similarity between sentences accurately. There are many approaches to measuring sentence similarity. Deep learning methodology shows a state-of-the-art performance in many natural language processing fields and is used a lot in sentence similarity measurement methods. However, in the natural language processing field, considering the structure of the sentence or the word structure that makes up the sentence is also important. In this study, we propose a methodology combined with both deep learning methodology and a method considering lexical relationships. Our evaluation metric is the Pearson correlation coefficient and Spearman correlation coefficient. As a result, the proposed method outperforms the current approaches on a KorSTS standard benchmark Korean dataset. Moreover, it performs a maximum of 65% increase than only using deep learning methodology. Experiments show that our proposed method generally results in better performance than those with only a deep learning model.


翻译:衡量判决相似性问题是自然语言处理(NLP)领域的一个基本问题。 有必要精确地衡量判决相似性。 有很多衡量判决相似性的方法。 深层学习方法显示在许多自然语言处理领域最先进的表现,并大量使用判决相似性测量方法。 但是,在自然语言处理领域,考虑到判决的结构或构成判决的词结构也很重要。 在这项研究中,我们提出了一种方法,既结合深层学习方法,又结合一种考虑词汇关系的方法。 我们的评估指标是皮尔逊相关系数和斯皮尔曼相关系数。 结果是,拟议的方法比韩国标准韩国标准数据集目前的方法更优。 此外,该方法比仅使用深层学习方法高出65%。 实验表明,我们提出的方法通常比只有深层学习模式的方法更能产生更好的效果。

0
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
已删除
将门创投
11+阅读 · 2019年4月26日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
Arxiv
0+阅读 · 2021年7月11日
Arxiv
0+阅读 · 2021年7月8日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
7+阅读 · 2019年10月6日
Arxiv
4+阅读 · 2019年8月7日
Arxiv
3+阅读 · 2019年3月29日
Attend More Times for Image Captioning
Arxiv
6+阅读 · 2018年12月8日
Arxiv
11+阅读 · 2018年5月13日
VIP会员
相关资讯
已删除
将门创投
11+阅读 · 2019年4月26日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
相关论文
Arxiv
0+阅读 · 2021年7月11日
Arxiv
0+阅读 · 2021年7月8日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
7+阅读 · 2019年10月6日
Arxiv
4+阅读 · 2019年8月7日
Arxiv
3+阅读 · 2019年3月29日
Attend More Times for Image Captioning
Arxiv
6+阅读 · 2018年12月8日
Arxiv
11+阅读 · 2018年5月13日
Top
微信扫码咨询专知VIP会员