多模态知识图谱构建、推理与挑战
文本、图像、视频、音频等数据的大量涌现,使得多模态数据的语义理解与知识表示需求变的更加迫切。认知科学研究表明,个体感知、认知外界进而形成知识的过程,通常是多种感官同时对信息进行处理和融合。多模态知识图谱的构建,能够让基于知识图谱的智能服务更好的理解真实世界的数据场景,进而更好的支撑各项上游任务和行业应用,如推荐系统、语义搜索、智能问答等。本报告将介绍东南大学认知智能研究所在多模态知识图谱构建方面的工作进展,并分析未来挑战。
http://tcci.ccf.org.cn/conference/2020/tutorials.php