【导读】四月份来自卡内基梅隆大学和谷歌大脑的研究者发布了QANet论文,并发表在ICLR2018上,旨在提出一种新型问答模型。该模型中去除了其他问答模型中的RNN部分,仅使用卷积和自注意力机制,便达到了超越目前最优模型的效果,并使用此模型获得了阅读理解SQuAD大赛的冠军。本文来自谷歌大脑发布的最新介绍,详细介绍了该模型中的技术细节,现由专知团队整理出来,以飨读者。
作者 | Thang Luong
编译 | Yongxi
问答系统与人工智能历史上息息相关,实际上,目前人工智能领域影响甚大的图灵测试便是一个自动问答系统。为了人工智能领域的发展,业界和学术界一直致力于提出质量更好的数据集,以及举办更加有影响力的比赛来促进该领域的繁荣。
而阅读理解是问答系统的核心问题。其中,斯坦福大学在2016年推出的数据集SQuAD成为了近年来最受瞩目的阅读理解任务。可以说SQuAD对问答系统的重要性,与ImageNet在计算机视觉领域的意义相差无几。
之所以如此,主要得益于SQuAD的巨大规模,它包含了536篇文章,以及107785个问题,并且采取了F1与EM两种分类标准来评价,保证了模型评价的客观性。
上图中是SQuAD当前的排行榜,直到近期,谷歌大脑团队和CMU联合推出QANet拔得头筹,将EM值提高到了84.454,F1值也提高到了90.490。并且,难得的是,与其他团队动辄10几个小时的训练时间相比,QANet仅仅需要45分钟的训练时间。
https://arxiv.org/abs/1804.09541
请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),
后台回复“QANET” 就可以获取Bengio 65页 Question answering & QANet PPT下载链接~
附原文PPT
-END-
专 · 知
人工智能领域主题知识资料查看与加入专知人工智能服务群:
【专知AI服务计划】专知AI知识技术服务会员群加入与人工智能领域26个主题知识资料全集获取。欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!
请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!
请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~
请关注专知公众号,获取人工智能的专业知识!
点击“阅读原文”,使用专知