弱监督语义分割最新方法资源列表

2019 年 2 月 26 日 专知

【导读】推荐一个弱监督语义分割最新方法资源列表,进行这方面研究的同学不要错过。


Github地址:

https://github.com/JackieZhangdx/WeakSupervisedSegmentationList



Weakly Supervised Semantic Segmentation list

This repository contains lists of state-or-art weakly supervised semantic segmentation works. Papers and resources are listed below according to supervision types.

There are some personal views and notes, just ignore if not interested.

Last update 2019/2

  •  Paper list

    •  instance

    •  box

    •  one-shot

    •  others

  •  Resources

some unsupervised segment proposal methods and datasets here.

CVPR 2018 Tutorial : WSL web&ppt, Part1 ,Part2

1.Bounding box supervision

Instance semantic segmentation

  • Learning to Segment Every Thing, CVPR 2018

    :Learning weight transfer from well-annotated subset, transfer class-specific weights(output layers) from detection and classification branch, based on Mask-RCNN

  • Pseudo Mask Augmented Object Detection, CVPR 2018

    :State-of-art weakly supervised instance segmentation with bounding box annotation. EM optimizes pseudo mask and segmentation parameter like Boxsup. Graphcut on superpixel is employed to refine pseudo mask.

  • Simple Does It: Weakly Supervised Instance and Semantic Segmentation, CVPR 2017 [web] [ref-code][supp]

    :Grabcut+(HED bounday) and MCG , train foreground segmentation network directly with generated mask semantic segmentaion, sensitive to env(quality) of training images. Check my implementation for pseudo mask generation which is similar to Grabcut+ MCG. But it can't match the performance discribed in paper sup. Opencv version Grabcut perform even worse.

  • Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation, ICCV 2015

    :Based on CRF refine, EM seems not work

  • BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation, ICCV 2015

    :Iteratively update parameters and region proposal labels, proposals are selected by network output masks

  • Deepcut: Object segmentation from bounding box annotations using convolutional neural networks, TMI 2017

Arxiv paper

  • Learning to Segment via Cut-and-Paste, Arxiv 1803

  • Adversarial Learning for Semi-Supervised Semantic Segmentation, Arxiv1802, [code]

2.One-Shot segmentation supervision

DAVIS Challenge: http://davischallenge.org/

: Davis17/18(Semi-supervised Video segmentation task), Davis16 is video salient object segmentation without the first frame annotations.


  • Fast and Accurate Online Video Object Segmentation via Tracking Parts, CVPR 2018(Spotlight) [code]

    :state-of-art, 82.4%/1.8s 77.9%/0.6s

  • OSVOS: One-Shot Video Object Segmentation, CVPR 2017 [web][code]

    :milestone, fine-tuning parent network with the first frame mask, 79.8%/10s

3.Image/video label supervision

  • Self-produced Guidance for Weakly-supervised Object Localization, ECCV 2018

  • Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation, BMVC 2018

  • Weakly Supervised Instance Segmentation using Class Peak Response, CVPR 2018(Spotlight)

    :state-of-art practice for instance seg with only class label.

  • Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features, CVPR 2018

    :Superpixel-> RegionNet(RoI classfier)-> Saliency refine, iteratively update with PixelNet(FCN)

  • Revisiting Dilated Convolution: A Simple Approach for Weakly- and SemiSupervised Semantic Segmentation, CVPR 2018(Spotlight)

  • Weakly-Supervised Semantic Segmentation Network With Deep Seeded Region Growing, CVPR 2018 [web][code]

  • Adversarial Complementary Learning for Weakly Supervised Object Localization, CVPR 2018

  • Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation, CVPR 2018

  • Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning, CVPR 2018

  • Weakly Supervised Semantic Segmentation using Web-Crawled Videos, CVPR 2017(Spotlight) [web]

  • Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach, CVPR 2017

  • WILDCAT: Weakly Supervised Learning of Deep ConvNets for Image Classification, Pointwise Localization and Segmentation, CVPR 2017 [web][code]

  • Learning random-walk label propagation for weakly-supervised semantic segmentation, CVPR 2017(Oral)

  • Combining Bottom-Up, Top-Down, and Smoothness Cues for Weakly Supervised Image Segmentation, CVPR 2017

  • Weakly Supervised Semantic Segmentation Using Superpixel Pooling Network, AAAI 2017

  • Learning from Weak and Noisy Labels for Semantic Segmentation, PAMI 2017

  • Learning to Segment Human by Watching YouTube, PAMI 2017

  • Seed, Expand, Constrain: Three Principles for Weakly-Supervised Image Segmentation, ECCV 2016 [code]

  • Backtracking ScSPM Image Classifier for Weakly Supervised Top-down Saliency, CVPR 2016, TIP 2018 Version

  • Constrained Convolutional Neural Networks for Weakly Supervised Segmentation, ICCV 2015 [code]

  • From Image-level to Pixel-level Labeling with Convolutional Networks, CVPR 2015

Resource

  • Yunchao Wei talk in Chinese about WSL with image label

Arxiv paper

  • Learning to Exploit the Prior Network Knowledge for Weakly-Supervised Semantic Segmentation, Arxiv1804

  • Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks, Arxiv 1711

3.1 Deep activation

Propagate method Papers
Global Max Pooling(GMP) Is object localization for free? - Weakly-supervised learning with convolutional neural networks,CVPR 2015
Global Average Pooling(GAP) Learning Deep Features for Discriminative Localization CVPR 2016
Log-sum-exponential Pooling(LSE) ProNet: Learning to Propose Object-specific Boxes for Cascaded Neural Networks,CVPR 2016
Global Weighted Rank Pooling(GWRP) SEC ECCV 2016
Global rank Max-Min Pooling(GRP) WILDCAT, CVPR 2017

3.2 Weakly supervised Detection / Localization(TODO)

  • Weakly Supervised Region Proposal Network and Object Detection, ECCV 2018

  • TS2C: Tight Box Mining with Surrounding Segmentation Context for Weakly Supervised Object Detection, ECCV 2018

  • Zigzag Learning for Weakly Supervised Object Detection, CVPR 2018

  • W2F: A Weakly-Supervised to Fully-Supervised Framework for Object Detection, CVPR 2018

  • Generative Adversarial Learning Towards Fast Weakly Supervised Detection, CVPR 2018

  • Min-Entropy Latent Model for Weakly Supervised Object Detection, CVPR 2018 , PAMI19, [code]

  • Weakly Supervised Cascaded Convolutional Networks, CVPR 2017

  • Multiple Instance Detection Network with Online Instance Classifier Refinement, CVPR 2017 [code]

4.Other supervision

Points

  • Deep Extreme Cut: From Extreme Points to Object Segmentation, CVPR 2018 [web][code]

  • What's the Point: Semantic Segmentation with Point Supervision, ECCV 2016 [web][code]

Scribbles

  • Normalized Cut Loss for Weakly-supervised CNN Segmentation, CVPR 2018

  • ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation, CVPR 2016

  • Learning to segment under various forms of weak supervision, CVPR 2015

5.Close Related or unpublished work

  • PCL: Proposal Cluster Learning for Weakly Supervised Object Detection, Arxiv1807 [code]

  • WebSeg: Learning Semantic Segmentation from Web Searches, Arxiv1803

  • On Regularized Losses for Weakly-supervised CNN Segmentation, Arxiv1803

  • Weakly-Supervised Action Segmentation with Iterative Soft Boundary Assignment, CVPR 2018

  • Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation, CVPR 2018

  • Weakly Supervised Salient Object Detection Using Image Labels, AAAI 2018

  • Weakly Supervised Object Localization on grocery shelves using simple FCN and Synthetic Dataset, Arxiv 1803

  • Learning Semantic Segmentation with Diverse Supervision, WACV 2018

参考链接:

https://github.com/JackieZhangdx/WeakSupervisedSegmentationList

-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
9

相关内容

CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
59+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
37+阅读 · 2019年10月9日
元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
Github项目推荐 | 全景分割相关资源列表
AI研习社
9+阅读 · 2019年5月13日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
22篇论文!增量学习/终生学习论文资源列表
专知
32+阅读 · 2018年12月27日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Revisiting CycleGAN for semi-supervised segmentation
Arxiv
3+阅读 · 2019年8月30日
Panoptic Feature Pyramid Networks
Arxiv
3+阅读 · 2019年1月8日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
专知会员服务
59+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
37+阅读 · 2019年10月9日
相关资讯
元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
Github项目推荐 | 全景分割相关资源列表
AI研习社
9+阅读 · 2019年5月13日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
22篇论文!增量学习/终生学习论文资源列表
专知
32+阅读 · 2018年12月27日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Top
微信扫码咨询专知VIP会员