Multi-Label Image Classification (MLIC) aims to predict a set of labels that present in an image. The key to deal with such problem is to mine the associations between image contents and labels, and further obtain the correct assignments between images and their labels. In this paper, we treat each image as a bag of instances, and reformulate the task of MLIC as an instance-label matching selection problem. To model such problem, we propose a novel deep learning framework named Graph Matching based Multi-Label Image Classification (GM-MLIC), where Graph Matching (GM) scheme is introduced owing to its excellent capability of excavating the instance and label relationship. Specifically, we first construct an instance spatial graph and a label semantic graph respectively, and then incorporate them into a constructed assignment graph by connecting each instance to all labels. Subsequently, the graph network block is adopted to aggregate and update all nodes and edges state on the assignment graph to form structured representations for each instance and label. Our network finally derives a prediction score for each instance-label correspondence and optimizes such correspondence with a weighted cross-entropy loss. Extensive experiments conducted on various image datasets demonstrate the superiority of our proposed method.


翻译:多标签图像分类( MLIC) 旨在预测在图像中显示的一组标签。 解决这一问题的关键在于清除图像内容和标签之间的关联, 并进一步获得图像及其标签之间的正确分配。 在本文中, 我们将每张图像视为一包实例, 并重塑 MLIC 的任务为实例标签匹配选择问题 。 为了模拟此类问题, 我们提议了一个新型深层次学习框架, 名为基于多标签图像的图表匹配分类( GM- MLIC ), 其中引入了图形匹配( GM) 方案, 因为它具有挖掘实例和标签关系的极好能力。 具体地说, 我们首先分别构建一个实例空间图和标签语义图, 然后通过将每个实例连接到所有标签, 把它们纳入一个构建的指定图中。 随后, 图形网络块被采用来汇总和更新指派图上的所有节点和边缘状态, 以形成每个实例和标签的结构性表达方式。 我们的网络最终为每个实例标签通信提供预测分, 并优化这种对应与加权交叉损失的对比。 在各种图像上进行广泛的高级实验。

0
下载
关闭预览

相关内容

图像分类,顾名思义,是一个输入图像,输出对该图像内容分类的描述的问题。它是计算机视觉的核心,实际应用广泛。
专知会员服务
52+阅读 · 2020年11月3日
最新《知识图谱表示学习补全》综述论文,16页pdf
专知会员服务
65+阅读 · 2020年10月29日
专知会员服务
163+阅读 · 2020年7月27日
专知会员服务
118+阅读 · 2020年7月22日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Multi-Label Learning with Label Enhancement
Arxiv
4+阅读 · 2019年4月16日
VIP会员
Top
微信扫码咨询专知VIP会员