基于神经影像反演的三维图像重构

项目名称： 基于神经影像反演的三维图像重构

项目编号： No.91320201

项目类型： 重大研究计划

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 姚力

作者单位： 北京师范大学

项目金额： 270万元

中文摘要： 三维图像的感知与重构是计算机立体视觉领域的难题，从人类感知与加工视觉信息的认知机理出发，建立可以模拟人类视觉系统的计算模型是解决这一瓶颈问题的有效途径。随着神经影像技术的飞速发展，基于神经影像的视觉信息编解码研究成为一个新的热点，研究人员基于功能磁共振影像和脑电信号开展了视觉图片刺激的分类、识别和重构，但现有研究主要是针对二维图片、且视觉信息的神经编解码模型也比较初步。本项目重点研究基于神经影像的三维视觉信息编解码数学模型，并从四个方面展开研究：研究三维图像刺激下的神经信号采集与处理方法；探究人类视觉系统如何感知三维场景中的深度信息；建立三维场景中立体信息的神经解码模型；最终完成基于神经活动的三维场景图像重构系统。本项目从神经影像信号中提取三维图像中物体的深度信息，并基于神经影像反演出三维图像，有望进一步揭示人类视觉系统的工作机理，推动计算机三维场景重构技术的发展。

中文关键词： 深度加工；双目视差；功能磁共振；脑电；编解码模型

英文摘要： The perception and reconstruction of 3D images is abig challenge of computer vision field. By comparing information about a scene from two vantage points, 3D information can be extracted by examination of the relative positions of objects in the two panels. This is the big challenge in computer vision field. It’s an effective way to overcome this problem in computer vision by developing image perception and processing methods that mocking the visual processing system of humankind. Nowadays, the neural decoding of visual information mainly include image classification, identification and reconstruction from electroencephalography(EEG) and functional magnetic resonance imaging(fMRI).The neural decoding models of visual information in these studies are still in the preliminary stage. This project focuses on the decoding model of 3-dimensional image reconstruction from neural image data. The research covers four problems: neural signal acquisition and processing under 3D image stimuli; the mechanism of human vision system for perception of depth information in 3D image; the quantitative neural decoding model for depth in 3D images, and the system of 3D image reconstruction derived from neural activities.By extraction of depth information from 3D image from neural image signals, and reconstruction of the 3D images in

英文关键词： depth processing；binocular disparity；fMRI；EEG；encoding and decoding model