项目名称: 基于反馈型级联连接模型的多模态语义SFM方法研究

项目编号: No.61501451

项目类型: 青年科学基金项目

立项/批准年度: 2016

项目学科: 无线电电子学、电信技术

项目作者: 沈晔湖

作者单位: 苏州科技大学

项目金额: 19万元

中文摘要: 由运动恢复结构(SFM)是计算机视觉领域的基本问题之一。目前大多数研究基于对图像基本几何基元的几何分析,缺乏对语义信息的利用,因此稳定性不强、应用领域受限。本项目借鉴人脑并行分级处理以及反馈机制,拟研究反馈型级联连接模型框架对SFM 和图像分割、区域类别标记、物体识别等语义子模块进行整合,通过框架的反馈级联机制突破传统将各子问题割裂分析的做法,实现语义输出SFM 系统。本项目还将研究一种包含点、物体、区域等多模态输出SFM 新算法,提升稳定性,减少语义鸿沟。此外现有的基准测试数据库仅针对SFM或者图像理解与分析系统中的单个或部分子模块设计,因此本项目还将构建一个同时包含三维和语义分割信息的室内外SFM基准测试数据。该研究有望丰富SFM 和视频理解与分析算法理论,并推动机器人自主导航、增强现实、电影特效等领域的发展,因此具有重要的科学意义和广泛的应用前景。

中文关键词: 视觉信息处理;视觉信息获取

英文摘要: Structure from motion (SFM) is one of the basic research fields in computer vision community. However, researchers mainly focus on geometric analysis based on basic geometric elements until now. There are few researches about the combination with semantic information in the images. As a result, the performance of traditional SFM is not robust and its applications are restricted. Inspired by the parallel processing strategy of information and feedback function in our human brain, we plan to research about Cascaded Connection with Feedback Framework. In this framework, current sub-modules of semantic image understanding and SFM can be easily incorporated. This framework overcomes the defects of researches on each sub-module without considering the effects of other sub-modules. This project will propose multi-modality output SFM algorithm with information of points, objects and regions in the Cascaded Connection with feedback Framework in order to improve the robustness of SFM and diminish the semantic gaps in real applications. Current benchmark test databases are only designed according to single or some sub-modules of SFM and image understanding and analysis systems. To cope with the aforementioned defects, this project will build an indoor/outdoor test database with benchmarks about 3D structures and semantic information. This project is hoped to enrich the computational theory of SFM and video understanding and analysis. It will also advance the development of related areas such as autonomous robot navigation, augmented reality and special effects in movie industry etc.. In conclusion, this project is of important scientific meanings and has broad applications in the future.

英文关键词: Visual information processing;Visual information retrieval

成为VIP会员查看完整内容
1

相关内容

基于RGB-D图像的语义场景补全研究进展综述
专知会员服务
28+阅读 · 2021年11月8日
专知会员服务
91+阅读 · 2021年8月29日
专知会员服务
55+阅读 · 2021年6月30日
专知会员服务
14+阅读 · 2021年3月26日
专知会员服务
31+阅读 · 2021年3月17日
专知会员服务
32+阅读 · 2020年12月25日
深度学习目标检测方法综述
专知会员服务
268+阅读 · 2020年8月1日
专知会员服务
219+阅读 · 2020年5月6日
EMBEDDING 在大厂推荐场景中的工程化实践
图与推荐
0+阅读 · 2021年11月26日
基于双塔结构的推荐模型总结
机器学习与推荐算法
6+阅读 · 2021年11月22日
最新开源 RGBD+IMU数据集:FMDataset
计算机视觉life
42+阅读 · 2019年9月21日
从锚点到关键点:目标检测方法最新进展(2019)
GAN生成式对抗网络
14+阅读 · 2019年8月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Building Odia Shallow Parser
Arxiv
0+阅读 · 2022年4月19日
Arxiv
3+阅读 · 2022年4月19日
Arxiv
12+阅读 · 2020年6月20日
小贴士
相关VIP内容
基于RGB-D图像的语义场景补全研究进展综述
专知会员服务
28+阅读 · 2021年11月8日
专知会员服务
91+阅读 · 2021年8月29日
专知会员服务
55+阅读 · 2021年6月30日
专知会员服务
14+阅读 · 2021年3月26日
专知会员服务
31+阅读 · 2021年3月17日
专知会员服务
32+阅读 · 2020年12月25日
深度学习目标检测方法综述
专知会员服务
268+阅读 · 2020年8月1日
专知会员服务
219+阅读 · 2020年5月6日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员