弱监督条件下RGB-D时序图像的语义分割模型与迁移学习算法

项目名称： 弱监督条件下RGB-D时序图像的语义分割模型与迁移学习算法

项目编号： No.61372140

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 无线电电子学、电信技术

项目作者： 罗荣华

作者单位： 华南理工大学

项目金额： 86万元

中文摘要： RGB-D图像是包含颜色和深度信息的四通道图像，模仿人类的视觉认知，融合颜色信息与深度信息对其进行分析和处理，已成为计算机视觉领域的研究热点。为了从RGB-D时序图像分割出具有语义的物体三维模型，本项目拟通过分析时序图像语义分割与配准之间的关系，探讨RGB-D时序图像的"分割-识别-同时分割与配准"语义分割模式，并设计RGB-D时序图像的层次化语义分割模型与推理算法，以充分利用颜色、深度和时空上下文，对语义标签的一致性和图像配准参数进行优化；同时,从利用互联网上标定好的RGB图像来辅助弱标定的RGB-D时序图像进行学习，以减少训练图像标定工作的角度出发，将在研究领域选择机制和异构迁移学习方法的基础上，构建弱监督条件下的自适应异构迁移学习框架，以设计语义视觉词典学习方法，并探讨通过知识迁移和共享获得可靠的空间上下文的学习算法；最后，搭建测试平台，在多个数据集上分析测试模型和算法的性能。

中文关键词： 图像语义理解；图像场景理解；；；

英文摘要： RGB-D images are four-channeled images with RGB color and depth information. To imitate the visual cognition of human, processing and analyzing of the RGB-D images by combining the color and depth information has become a hot research hotspot in the field

英文关键词： image semantic segmentation；scene understanding；；；