AAAI 2022 | 在图像级弱监督语义分割这项CV难题上,字节跳动做到了性能显著提升

2022 年 1 月 7 日 专知
转载自:机器之心 |  字节跳动 - 智能创作团队
论文提出了一种面向图像级标签的弱监督语义分割的激活值调制和重校准方案。该方法利用注意力调制模块挖掘面向分割任务的目标区域,通过补偿分支产生的CAM图校准基准的响应图,得到图像的伪标签,该方法在PASCAL VOC2012数据集上获得了SOTA性能。

图像级弱监督语义分割(WSSS)是一项基本但极具挑战性的计算机视觉任务,该任务有助于促进场景理解和自动驾驶领域的发展。现有的技术大多采用基于分类的类激活图(CAM)作为初始的伪标签,这些伪标签往往集中在有判别性的图像区域,缺乏针对于分割任务的定制化特征。 

为了解决上述问题,字节跳动 - 智能创作团队提出了一种即插即用的激活值调制和重校准(Activation Modulation and Recalibration 简称 AMR)模块来生成面向分割任务的 CAM,大量的实验表明,AMR 不仅在 PASCAL VOC 2012 数据集上获得最先进的性能。实验表明,AMR 是即插即用的,可以作为其他先进方法的子模块来提高性能。论文已入选机器学习顶级论文 AAAI2022,相关代码即将开源。


  • 论文链接:https://www.zhuanzhi.ai/paper/3dc03cacb03652e24ac236ffe99f8473

  • GitHub 链接:https://github.com/jieqin-ai/AMR


引言

论文提出了一种新颖的激活调制和重校准(AMR)方案,该方案利用聚光灯分支和补偿分支获得加权 CAM,从而提供重校准的监督信号。注意力调制模块(AMM)按照通道 - 空间的顺序重新学习特征重要性的分布,这有助于显式地建模通道相关性和空间编码,以自适应地调制面向分割任务的激活响应。此外,研究者还针对双分支引入了一种交叉伪监督机制,它可以被视为一种语义相似的正则化机制来相互细化两个分支。实验结果表明,该方法可以通过学习大量粗粒度的标注获得良好的分割结果,这对实际应用非常有益。


方法


1、激活调制和重新校准方案 AMR

AMR 是由一个聚光灯分支和一个补偿分支组成的互补的双分支网络结构。具体来说,聚光灯分支用于生成基础的判别性强区域的 CAM,补偿分支用于生成面向分割任务的 CAM,为聚光灯的 CAM 提供互补的监督信号。补偿分支能够挖掘重要却容易被聚光灯分支忽视的区域,生成的补偿 CAM 通过重新校准聚光灯 CAM 来生成最终的加权 CAM:


2、注意力调制模块 AMM

论文提出了注意调制模块(AMM)从通道 - 空间顺序的角度重新排序特征重要性的分布,这有助于显式地建模通道间的相互依赖性和空间编码,以自适应地调节面向分割的激活响应值。AMM 包括通道注意调制和空间注意调制。研究者首先将输入到通道 AMM,通过平均池化和卷积层显式地建模通道的相互依赖性。为了进一步在空间维度上建模内部空间的关系,研究者还引入了一个空间 AMM 来级联通道 AMM。研究者利用高斯调制函数来增强次要特征并抑制最敏感和最不敏感的特征,该函数强调通过次重要的区域来直接提取容易忽略的区域,这对于分割任务至关重要。



3、交叉伪监督损失 CPS

为了充分利用其他分支提供的互补 CAM,研究者在聚光灯 CAM 和补偿 CAM 之间增加一个交叉伪监督损失函数,起到语义相似性正则的作用:


交叉伪监督损失不仅正则化了补偿分支,还将判别性区域和容易忽略的区域彼此拉近。因此可以获得两个互补区域来重新校准初始 CAM。综上所述,AMR 采用最终下述损失函数进行优化:


实验

在 PASCAL VOC2012 数据集上,一方面,AMR 超过了当前图像级弱监督方法,取得了最佳的分割性能。另一方面,AMR 甚至比一些具有更细粒度监督(如显著性监督)的算法获得更好的效果。


可视化结果如下图所示,从结果可以看出两个互补的分支能够关注到不同的响应区域,最终的加权结果能挖掘出更多属于目标对象的区域,从而获得更好的分割性能。





专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CAMR” 就可以获取AAAI 2022 | 在图像级弱监督语义分割这项CV难题上,字节跳动做到了性能显著提升》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

【CVPR2022】弱监督语义分割的类重新激活图
专知会员服务
16+阅读 · 2022年3月7日
【CVPR2022】弱监督目标定位建模为领域适应
专知会员服务
15+阅读 · 2022年3月4日
专知会员服务
42+阅读 · 2021年8月20日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
45+阅读 · 2020年10月5日
专知会员服务
41+阅读 · 2020年2月20日
AAAI 2020 | 樊峻菘:弱监督语义分割(视频解读)
AI科技评论
11+阅读 · 2020年1月29日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
3+阅读 · 2022年4月19日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关VIP内容
【CVPR2022】弱监督语义分割的类重新激活图
专知会员服务
16+阅读 · 2022年3月7日
【CVPR2022】弱监督目标定位建模为领域适应
专知会员服务
15+阅读 · 2022年3月4日
专知会员服务
42+阅读 · 2021年8月20日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
45+阅读 · 2020年10月5日
专知会员服务
41+阅读 · 2020年2月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员