中科院网络数据科学与技术重点实验室知识计算团队在权威国际评测TAC-KBP 2017中获得4个单项指标第一的优异成绩

2017 年 12 月 1 日 中国科学院网络数据重点实验室


  近日,国际知识库构建领域的权威评测TAC-KBP 20172017 Text Analysis Conference – Knowledge Base Population)揭晓评测结果,中科院网络数据科学与技术重点实验室(主任:程学旗)由李紫宣、仇韫琦、杨帆三名硕士生与延浩然、赵凯琳、苏佳林三名保研生组成的知识计算团队(指导老师:靳小龙、王元卓与贾岩涛)在英语语种的冷启动知识库构建(Cold Start Knowledge Base Population)任务中取得了优异成绩,其中,实体发现(EntityDiscovery)子任务整体排名第三,2项准确率指标排名第一;实体链接(Entity Linking)子任务1项准确率指标排名第一、1项排名第二;槽填充(Slot Filling)子任务1项准确率指标排名第一、3项排名第二。

       TAC由美国国家标准与技术研究所(NIST)主办,美国国防部协办。作为文本内容处理领域最重要的国际评测之一,TAC评测从2008年开始每年举办一次,吸引了来自美国、英国、加拿大、中国等20多个国家的队伍参赛,累计参赛队伍超过440支。从2012年开始,TAC专注于TAC-KBP评测,至今已连续举办九届,已成为知识库构建技术的国际主流评测平台,每届均有四十余支队伍参加,参赛队伍来自卡内基梅隆大学、斯坦福大学、伊利诺伊大学香槟分校等国际著名高校与MicrosoftIBM等大型IT公司。

   冷启动知识库构建任务2011年首次设立,其目标是对开放文本(包括新闻、论坛等)进行知识挖掘,“从无到有”地构建一个包括实体、属性与关系的知识库。TAC-KBP不仅注重知识库构建中的实体发现、关系抽取等单项技术,而且考验参赛团队将各项技术整合成完整知识库系统的能力。相比传统的知识库构建技术评测任务,冷启动任务更加注重知识库构建技术在开放领域文本上的实际应用,也因此更具实用价值。

      与往年相比,2017年冷启动知识库构建任务的难度显著提高,评测内容增加将近一倍,子任务数量达到五个,几乎囊括知识库构建的所有技术,因此更加注重参赛队伍的综合实力。2017年的参赛队伍来自斯坦福大学、约翰霍普金斯大学等国外高校与IBM等多家企业,共提交71个参赛结果。

   本实验室知识计算团队在此次评测任务中将深度学习技术与传统的知识抽取方法相结合,从零开始构建了包括实体、事件、关系、情感在内的知识库,相关技术将在领域知识推断与预测、基于知识图谱的领域问答等应用中起到关键作用。

 


登录查看更多
0

相关内容

IEEE情感计算TAC(IEEE Transactions on Affective Computing)是一份跨学科的国际档案期刊,旨在传播能够识别、解释和模拟人类情感和相关情感现象的系统设计研究成果。 官网地址:http://dblp.uni-trier.de/db/journals/taffco/
【CAAI 2019】自然语言与理解,苏州大学| 周国栋教授
专知会员服务
62+阅读 · 2019年12月1日
评测 | 2020 年全国知识图谱与语义计算大会评测任务征集
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
俄罗斯Yandex公司ClickHouse团队访问计算所
中国科学院网络数据重点实验室
13+阅读 · 2019年6月12日
阿里健康夺冠中文电子病历实体识别评测任务
AI掘金志
40+阅读 · 2018年8月17日
中科院网络数据科学与技术重点实验室 2017年大事记
中国科学院网络数据重点实验室
18+阅读 · 2018年2月14日
腾讯AI Lab斩获知识图谱顶级赛事KBP 2017世界冠军
全球人工智能
10+阅读 · 2017年12月1日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年5月21日
VIP会员
相关VIP内容
【CAAI 2019】自然语言与理解,苏州大学| 周国栋教授
专知会员服务
62+阅读 · 2019年12月1日
相关资讯
评测 | 2020 年全国知识图谱与语义计算大会评测任务征集
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
俄罗斯Yandex公司ClickHouse团队访问计算所
中国科学院网络数据重点实验室
13+阅读 · 2019年6月12日
阿里健康夺冠中文电子病历实体识别评测任务
AI掘金志
40+阅读 · 2018年8月17日
中科院网络数据科学与技术重点实验室 2017年大事记
中国科学院网络数据重点实验室
18+阅读 · 2018年2月14日
腾讯AI Lab斩获知识图谱顶级赛事KBP 2017世界冠军
全球人工智能
10+阅读 · 2017年12月1日
Top
微信扫码咨询专知VIP会员