Several metrics have been proposed for assessing the similarity of (abstract) meaning representations (AMRs), but little is known about how they relate to human similarity ratings. Moreover, the current metrics have complementary strengths and weaknesses: some emphasize speed, while others make the alignment of graph structures explicit, at the price of a costly alignment step. In this work we propose new Weisfeiler-Leman AMR similarity metrics that unify the strengths of previous metrics, while mitigating their weaknesses. Specifically, our new metrics are able to match contextualized substructures and induce n:m alignments between their nodes. Furthermore, we introduce a Benchmark for AMR Metrics based on Overt Objectives (BAMBOO), the first benchmark to support empirical assessment of graph-based MR similarity metrics. BAMBOO maximizes the interpretability of results by defining multiple overt objectives that range from sentence similarity objectives to stress tests that probe a metric's robustness against meaning-altering and meaning-preserving graph transformations. We show the benefits of BAMBOO by profiling previous metrics and our own metrics. Results indicate that our novel metrics may serve as a strong baseline for future work.


翻译:在这项工作中,我们提出了新的Weisfeiler-Leman AMR相似指标,以统一先前指标的长处,同时减轻其弱点。具体地说,我们的新指标能够匹配背景化的子结构,并引出其节点之间的n:m调整。此外,我们采用了基于Opt目标(BAMBO)的AMBO模型基准,这是支持对基于图形的MR相似度指标进行实证评估的第一个基准。BAMBO的结果表明,我们的新衡量标准可用于确定从判决相似性目标到压力测试等多种公开性目标,以探究指标的稳健性,防止意义改变和保留值的图形变化。我们通过对先前指标和我们自己的衡量标准进行定性,显示BAMBOO的效益。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月24日
【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
专知会员服务
81+阅读 · 2021年5月10日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
【新书】Python数据科学食谱(Python Data Science Cookbook)
专知会员服务
114+阅读 · 2020年1月1日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
10+阅读 · 2018年5月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
6+阅读 · 2019年11月14日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
3+阅读 · 2018年2月7日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
10+阅读 · 2018年5月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员