项目名称: 基于视频刺激fMRI的视觉特征神经编码空间研究

项目编号: No.61473234

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 自动化技术、计算机技术

项目作者: 胡新韬

作者单位: 西北工业大学

项目金额: 82万元

中文摘要: 视觉特征的神经编码空间,即视觉特征与脑功能活动之间映射关系的全面描述,是场景理解脑机制研究中的关键问题。目前的研究仅局限于基本视觉特征和高层语义特征,而中间层视觉特征的神经编码尚不清楚。同时,申请人前期的研究工作- - 脑功能引导媒体内容分析,展示了脑成像分析提升媒体计算的潜力,但视觉特征神经编码空间是优化脑功能引导机制、发掘向脑学习潜力所面临的瓶颈问题。本课题从场景理解脑机制的理论研究和我们前期工作的应用需求出发,结合我们在脑成像与多媒体融合上的研究基础,发挥媒体计算中多层次视觉特征描述的优势,系统研究视觉特征神经编码空间。核心创新点是:利用媒体计算领域人为设计的多层次视觉特征和基于深度特征自学习中的多层隐层特征,模拟人脑需感知的多层次视觉特征,以解决目前研究中中间层视觉特征断层的难题。本课题从研究手段和计算模型的角度为场景理解脑机制的研究提供借鉴,同时推动向脑学习的高效媒体分析方法的发展。

中文关键词: 神经编码;视觉特征;视频刺激fMRI;fMRI编解码模型

英文摘要: The neural encoding space of visual features, that is the comprehensive mapping between visual features and the evoked brain responses, is a critical problem in exploring the brain mechanism of scene understanding. The studies on this issue are limited to the basic visual features and high-level semantic features, while the neural encoding of intermediate visual feature is largely unknown. Meanwhile, our previous research on multimeida analysis guided by functional brain responses has demonstrated the potential benefit of leveraging multimedia analysis by mearging braing imaging and multimedia. However, the optimization of the learning the brain guidence mechaism and the carrying forward of learning from brain is facing the bottle-neck problem of the visual feature nerual encoding space. The proposed project aimed at fulfilling the emergent demand for assessing visual feature neural encoding space originated from both our previous research and the theoretical exploring of the functional mechanism of natural scene understanding. We plan to take the advantages of hierarchical computational visual features in multimedia analysis field, to systematically explore the neural encoding space of visual features. The key innovation lies in mimicking the hierarchical visual features by hierarchical computational visual features and the multilayer latent features in deep feature self-learning, to leverage the study of the neural encoding space of hierarchical visual features. The achievement of the project will not only provide novel insights for exploring the functional mechanism of natural scene understanding, but also necessary information for the optimization of the guidance mechanism learning in content-based multimedia analysis.

英文关键词: Nueral encoding;visual feature;video stimuli fMRI;fMRI encoding and decoding models

成为VIP会员查看完整内容
0

相关内容

【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
179+阅读 · 2022年4月12日
专知会员服务
12+阅读 · 2021年9月13日
专知会员服务
6+阅读 · 2021年6月19日
专知会员服务
63+阅读 · 2021年5月21日
专知会员服务
35+阅读 · 2021年2月20日
专知会员服务
78+阅读 · 2020年12月18日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
【NeurIPS 2020】视觉注意力神经编码
专知会员服务
40+阅读 · 2020年10月4日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
SepViT:可分离视觉Transformer
CVer
0+阅读 · 2022年4月18日
论文浅尝 | 基于多模态特征的视觉实体链接
开放知识图谱
1+阅读 · 2022年1月7日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
自注意力机制在计算机视觉中的应用【附PPT与视频资料】
人工智能前沿讲习班
17+阅读 · 2018年12月20日
图像美学质量评价技术发展趋势
科技导报
18+阅读 · 2018年6月25日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
基于信息理论的机器学习
专知
21+阅读 · 2017年11月23日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年5月3日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
17+阅读 · 2020年11月15日
Arxiv
16+阅读 · 2018年2月7日
Arxiv
20+阅读 · 2018年1月17日
小贴士
相关VIP内容
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
179+阅读 · 2022年4月12日
专知会员服务
12+阅读 · 2021年9月13日
专知会员服务
6+阅读 · 2021年6月19日
专知会员服务
63+阅读 · 2021年5月21日
专知会员服务
35+阅读 · 2021年2月20日
专知会员服务
78+阅读 · 2020年12月18日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
【NeurIPS 2020】视觉注意力神经编码
专知会员服务
40+阅读 · 2020年10月4日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
相关资讯
SepViT:可分离视觉Transformer
CVer
0+阅读 · 2022年4月18日
论文浅尝 | 基于多模态特征的视觉实体链接
开放知识图谱
1+阅读 · 2022年1月7日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
自注意力机制在计算机视觉中的应用【附PPT与视频资料】
人工智能前沿讲习班
17+阅读 · 2018年12月20日
图像美学质量评价技术发展趋势
科技导报
18+阅读 · 2018年6月25日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
基于信息理论的机器学习
专知
21+阅读 · 2017年11月23日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
1+阅读 · 2022年5月3日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
17+阅读 · 2020年11月15日
Arxiv
16+阅读 · 2018年2月7日
Arxiv
20+阅读 · 2018年1月17日
微信扫码咨询专知VIP会员