Models for semantic segmentation require a large amount of hand-labeled training data which is costly and time-consuming to produce. For this purpose, we present a label fusion framework that is capable of improving semantic pixel labels of video sequences in an unsupervised manner. We make use of a 3D mesh representation of the environment and fuse the predictions of different frames into a consistent representation using semantic mesh textures. Rendering the semantic mesh using the original intrinsic and extrinsic camera parameters yields a set of improved semantic segmentation images. Due to our optimized CUDA implementation, we are able to exploit the entire $c$-dimensional probability distribution of annotations over $c$ classes in an uncertainty-aware manner. We evaluate our method on the Scannet dataset where we improve annotations produced by the state-of-the-art segmentation network ESANet from $52.05 \%$ to $58.25 \%$ pixel accuracy. We publish the source code of our framework online to foster future research in this area (\url{https://github.com/fferflo/semantic-meshes}). To the best of our knowledge, this is the first publicly available label fusion framework for semantic image segmentation based on meshes with semantic textures.


翻译:用于语义分解的模型需要大量手工标签培训数据,这些数据成本高,耗时费时。 为此,我们提出了一个标签聚合框架, 能够以不受监督的方式改进视频序列的语义像标签标签。 我们使用环境的3D网格图示, 并将不同框架的预测用语义网形图解图解整合成一致的表达方式。 使用原始内在和外部相机参数将语义网格网格生成一套经改进的语义分解图像。 由于我们优化的 CUDA 实施, 我们能够以不确定的方式利用以美元为单位对视频序列的批注的全方位概率分布。 我们在扫描网数据集上评估了我们的方法, 从而用语义网形图解网络 ESANet 52.05 美元 至 58.25 美元 pixel 精确度。 我们在线公布了我们框架的来源代码, 以促进这个区域的未来文本研究 (\\ http:// ligrub/ffercom suple) 的Seshereal- silveal silvildal supdufres 。

0
下载
关闭预览

相关内容

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。 所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域,并使这些特征在同一区域内呈现出相似性,而在不同区域间呈现出明显的差异性。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
61+阅读 · 2021年12月19日
TextCNN大牛Kim《深度无监督学习句法结构分析》,88页ppt
专知会员服务
28+阅读 · 2021年1月13日
专知会员服务
109+阅读 · 2020年3月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
VIP会员
Top
微信扫码咨询专知VIP会员