项目名称: 基于深层神经网络的多模态快速稀疏表征器

项目编号: No.61473219

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 自动化技术、计算机技术

项目作者: 王进军

作者单位: 西安交通大学

项目金额: 82万元

中文摘要: 从多媒体数据中提取具有稀疏特性的特征表达尽管能够取得较好的语义分析效果,其仍具有计算量过大、难以支持多模态联合表征两个主要困难。由于求解稀疏约束条件的高度非线性,开发新的数学优化与融合算法突破上述限制变得越来越困难。课题组拟结合人类视觉系统在对自然图像信息表达过程中具有稀疏性这一生理学基础,采用人工深层神经网络模型开发快速稀疏表征器。该表征器支持以前馈方式直接快速计算输入信号的稀疏编码,实现特征提取速度超过一个数量级的提高。同时允许从多模态数据中进行跨模态对齐的稀疏表征,能够支持包括静态图像到动态视音频的大规模多媒体数据中常见的模态缺失、不同步、时空分辨率不匹配等复杂情况下的有效特征表达。在此基础上,衍生出一系列新颖的应用,包括对模态缺失状况的最优化处理、数据的模态无关性本征表达、抽象特征的可视化等功能,从而极大促进稀疏表征方法面向大规模复杂多模态数据的广泛应用。

中文关键词: 稀疏表示;特征提取;神经网络;多模态

英文摘要: Despite the recent progress in semantic multimedia analysis based on sparse feature representation, extracting sparse feature is still a time consuming process and is difficult to apply to multi-modalities situation. Due to the high non-linearity of the sparse-coding process, developing new mathematic algorithms to overcome the above two limitations is getting very difficult. Alternatively, in this proposal, based on the solid biological evidence that the human vision system also adopts sparse feature representation for natural visual data, we plan to develop deep artificial neural network based sparse feature representor to tackle the above dilemma. The representor solves the sparse-coding problem by performing simple feed-forward calculation, such that the feature representation process can achieve order-of-magnitude speed-up. Meanwhile, the representor allows multi-modality input by aligning and fusing different modality into joint sparse representation, such that it can handle some complex scenarios in typical large-scale image and video processing problems, including modality deficiency, off-synchronization, different spatio-temporal resolution, etc. Based on the developed representor, many novel applications can be well supported, such as modality deficiency robust feature representation, modality-invariant intrinsic feature extraction, visualization of low-level features, etc, which will dramatically improve the popularity of sparse feature representation technology in real-world, large-scale multimedia computing applications.

英文关键词: Sparsity;Feature Representation;Neural Network;Multimodality

成为VIP会员查看完整内容
3

相关内容

这种方法被称为Sparse Coding。通俗的说,就是将一个信号表示为一组基的线性组合,而且要求只需要较少的几个基就可以将信号表示出来
基于流线的流场可视化绘制方法综述
专知会员服务
25+阅读 · 2021年12月9日
专知会员服务
65+阅读 · 2021年10月15日
港中文等最新《多模态元学习》综述论文
专知会员服务
123+阅读 · 2021年10月8日
专知会员服务
50+阅读 · 2021年8月13日
专知会员服务
69+阅读 · 2021年3月29日
专知会员服务
60+阅读 · 2021年3月9日
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
【博士论文】辨识性特征学习及在细粒度分析中的应用
专知会员服务
29+阅读 · 2020年12月10日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
101+阅读 · 2020年7月22日
专知会员服务
49+阅读 · 2020年6月14日
语音识别的快速纠错模型FastCorrect系列来了!
微软研究院AI头条
1+阅读 · 2022年3月22日
杨宇鸿:腾讯多模态内容理解技术及应用
专知
3+阅读 · 2022年1月27日
跨语言的多模态、多任务检索模型MURAL解读
AI前线
4+阅读 · 2021年12月24日
图像修复研究进展综述
专知
17+阅读 · 2021年3月9日
CVPR 2020 | 细粒度文本视频跨模态检索
AI科技评论
17+阅读 · 2020年3月24日
基于二进制哈希编码快速学习的快速图像检索
极市平台
12+阅读 · 2018年5月17日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
Arxiv
2+阅读 · 2022年5月3日
Arxiv
16+阅读 · 2021年1月27日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Arxiv
16+阅读 · 2018年4月2日
小贴士
相关VIP内容
基于流线的流场可视化绘制方法综述
专知会员服务
25+阅读 · 2021年12月9日
专知会员服务
65+阅读 · 2021年10月15日
港中文等最新《多模态元学习》综述论文
专知会员服务
123+阅读 · 2021年10月8日
专知会员服务
50+阅读 · 2021年8月13日
专知会员服务
69+阅读 · 2021年3月29日
专知会员服务
60+阅读 · 2021年3月9日
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
【博士论文】辨识性特征学习及在细粒度分析中的应用
专知会员服务
29+阅读 · 2020年12月10日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
101+阅读 · 2020年7月22日
专知会员服务
49+阅读 · 2020年6月14日
相关资讯
语音识别的快速纠错模型FastCorrect系列来了!
微软研究院AI头条
1+阅读 · 2022年3月22日
杨宇鸿:腾讯多模态内容理解技术及应用
专知
3+阅读 · 2022年1月27日
跨语言的多模态、多任务检索模型MURAL解读
AI前线
4+阅读 · 2021年12月24日
图像修复研究进展综述
专知
17+阅读 · 2021年3月9日
CVPR 2020 | 细粒度文本视频跨模态检索
AI科技评论
17+阅读 · 2020年3月24日
基于二进制哈希编码快速学习的快速图像检索
极市平台
12+阅读 · 2018年5月17日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员