零样本学习(Zero-shot Learning, ZSL)能够使机器学习模型在不看到训练样本的情况下预测新目标,在计算机视觉(computer vision, CV)和自然语言处理(natural language processing, NLP)等许多领域引起了广泛的研究兴趣。一种有效的解决方案是利用文本、属性描述和知识图谱(knowledge Graphs, KGs)等外部知识来弥合有训练样本的目标与无训练样本的目标之间的差距。本教程旨在从知识特别是KG的角度介绍ZSL。我们将首先介绍KG和ZSL的背景,然后通过案例研究介绍支持KG的ZSL的总体情况和一些有代表性的范例,最后提供一个关于基准测试和代码的实践环节。 目录内容
讲者:
Jiaoyan Chen,牛津大学计算机科学系高级研究员,在知识表示与推理组工作。在过去的十年里,他一直致力于KG的构建和管理技术,知识感知机器学习(包括基于KG的低资源学习,归纳KG补全,本体流学习中的概念漂移,知识增强解释),以及这些语义和机器学习技术的应用。
Yuxia Geng,浙江大学知识引擎组博士生,导师是Huajun Chen教授。她的研究方向包括诱导KG补全、KG感知ZSL和神经符号整合。她一直致力于知识驱动的ZSL,以主要作者的身份在WWW、ISWC、ACL、Semantic Web Journal和IJCAI上发表了多篇论文。
Yufeng Huang是浙江大学知识引擎组的硕士研究生,导师是陈华军教授。主要研究方向为KG、ZSL和视觉语言模型。他熟悉各种机器学习和KG编码技巧,并将主要参与实践环节。
Huajun Chen,浙江大学计算机科学技术学院正教授。他在语义网、KG、低资源学习、大数据和NLP等领域有超过20年的研究经验。他的KG研究获得了多项国际和国内奖项,如ISWC 2006最佳论文。陈教授是《网络语义学杂志》的区域编辑,并领导了开放语义学项目OpenKG(于2015年启动)。华军在浙江大学教授知识图谱导论、面向对象编程等课程超过15年。
参考论文:
- Chen, J., Geng, Y., Chen, Z., Horrocks, I., Pan, J.Z., et al.: Knowledge-aware zero-shot learning: Survey and perspective. In: IJCAI (2021)
- Geng, Y., Chen, J., Zhuang, X., Chen, Z., Pan, J. Z., Li, J., Yuan, Z., & Chen, H. Benchmarking Knowledge-driven Zero-shot Learning. Journal of Web Semantics. (2022).
- Geng,Y.,Chen,J.,Chen,Z.,Pan,J.Z.,Ye,Z.,Yuan,Z.,Jia,Y.,Chen,H.:OntoZSL: Ontology-enhanced zero-shot learning. In: WWW. pp. 3325-3336 (2021)
- Wang, X., Ye, Y., Gupta, A.: Zero-shot recognition via semantic embeddings and knowledge graphs. In: CVPR. pp. 6857-6866 (2018)
- Li, J., Wang, R., Zhang, N., Chen, H., et al.: Logic-guided semantic representation learning for zero-shot relation classification. In: COLING. pp. 2967-2978 (2020)
- Geng, Y., Chen, J., Ye, Z., Zhang, W., Chen, H.: Explainable zero-shot learning via attentive graph convolutional network and knowledge graphs. Semantic Web (2021)
- Chen, Z., Chen, J., Geng, Y., Pan, J. Z., Yuan, Z., & Chen, H. Zero-shot visual question answering using knowledge graph. In International Semantic Web Conference (pp. 146-162). (2021).
- Geng, Y., Chen, J., Zhang W., Xu Y., Chen Z., Pan, J. Z., Huang, Y., Xiong F. & Chen, H. Disentangled Ontology Embedding for Zero-shot Learning. In: ACM SIGKDD. (2022).
- Chen, J., Geng, Y., Chen, Z., Pan, J. Z., He, Y., Zhang, W., ... & Chen, H. Low-resource Learning with Knowledge Graphs: A Comprehensive Survey. arXiv preprint arXiv:2112.10006. (2021).
- Geng, Y., Chen, J., Zhang, W., Pan, J. Z., Yang, M., Chen, H. & Jiang, S. Relational Message Passing for Fully Inductive Knowledge Graph Completion. arXiv preprint arXiv:2210.03994. (2022).