目前的NLP系统可以回答常识性问题,或者写出流利的故事,在基准数据集上获得令人印象深刻的分数。然而,大多数进展是使用为单个任务创建的静态、封闭域数据集进行评估的。为了在野外部署常识推理服务,我们需要能够以开放的方式生成答案,能够执行鲁棒的逻辑推理,并且能够跨不同的任务格式、领域和数据集进行泛化的系统。在这次演讲中,我将分享三个工作,介绍常识推理挑战的新公式以及新的评估协议,以解决上述问题。我们希望鼓励更多的努力,提出“动态的”、通用的常识推理挑战,以评估进展。

https://akbc-cskb.github.io/#talks-and-panel-discussion

成为VIP会员查看完整内容
32

相关内容

专知会员服务
94+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年5月29日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
专知会员服务
312+阅读 · 2020年11月24日
少标签数据学习,54页ppt
专知会员服务
196+阅读 · 2020年5月22日
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
AI科技评论
18+阅读 · 2020年6月29日
PySpark和大数据处理初探
Python程序员
7+阅读 · 2019年10月10日
ICML2019《元学习》教程与必读论文列表
专知
42+阅读 · 2019年6月16日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
阅读+验证:面向无答案问题的机器阅读理解【附PPT与视频资料】
人工智能前沿讲习班
7+阅读 · 2019年1月17日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
新任务引介 | Embodied Question Answering
人工智能前沿讲习班
3+阅读 · 2018年8月8日
ERROR: GLEW initalization error: Missing GL version
深度强化学习实验室
9+阅读 · 2018年6月13日
CSKG: The CommonSense Knowledge Graph
Arxiv
18+阅读 · 2020年12月21日
VIP会员
相关主题
相关VIP内容
专知会员服务
94+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年5月29日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
专知会员服务
312+阅读 · 2020年11月24日
少标签数据学习,54页ppt
专知会员服务
196+阅读 · 2020年5月22日
相关资讯
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
AI科技评论
18+阅读 · 2020年6月29日
PySpark和大数据处理初探
Python程序员
7+阅读 · 2019年10月10日
ICML2019《元学习》教程与必读论文列表
专知
42+阅读 · 2019年6月16日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
阅读+验证:面向无答案问题的机器阅读理解【附PPT与视频资料】
人工智能前沿讲习班
7+阅读 · 2019年1月17日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
新任务引介 | Embodied Question Answering
人工智能前沿讲习班
3+阅读 · 2018年8月8日
ERROR: GLEW initalization error: Missing GL version
深度强化学习实验室
9+阅读 · 2018年6月13日
微信扫码咨询专知VIP会员