【博士论文】脉冲视觉的视网膜编码模型与超高速应用研究

视觉系统是大脑神经系统的一个重要组成部分，人类从外界获得的信息约丷丰严以上来自于视觉系统。视皮层及直接关联区域约占大脑皮层的三分之一，不仅负责视觉信息的提取、处理和整合，同时也是学习、记忆、决策和情感等高级脑功能形成的基础。相比于计算机视觉算法，人脑视觉系统在很多方面有独特的优势，例如人脑可以毫不费力地识别成千上万种物体，但是物体识别对于机器视觉来说却是一个富有挑战性的难题。生物视觉系统经过数亿年的进化，其中的眼睛、视觉通路和视皮层等结构、功能和工作机制都非常精妙，能够在消耗极少能量的同时快速完成许多复杂任务。生物视觉系统会在复杂的外界环境中提取出有意义的模式，而包含丰富时空信息的脉冲信号是视觉系统信息处理的基础。如何有效借鉴生物巧妙的视觉系统，实现低功耗、低延迟和高鲁棒性的类脑视觉计算是人工智能发展的重要途径之一。为实现更具生物视觉系统特性的高效机器视觉，将围绕脉冲视觉中的编码及处理展开研究。首先探索视网膜编码视觉刺激的工作机理这个科学问题，再面向仿生物视网膜的视觉传感器研究如何构建基于脉冲的超高速视觉算法。本文的主要贡献点包括：

提出了基于卷积神经网络的简单刺激单细胞编码模型，揭示了卷积神经网络与生物视网膜环路的相似性，可精确预测视网膜对白噪声和自然图片刺激的脉冲响应。无论是在不同细胞数据之间的迁移学习，还是在不同统计特性的刺激之间迁移，具有良好视网膜响应预测性能的乃乎乎模型都表现出了较好的泛化能力。此外，在模拟单个细胞编码功能时，随着网络层数或是神经元个数的增加网络性能会趋于饱和。相比传统生物物理模型，模型拟合性能对数据样本量和噪声的影响都更加鲁棒。揭示了一个三层的卷积神经网络可相当于一个视网膜神经元。

提出了基于卷积循环神经网络的复杂刺激群体细胞编码模型，揭示了网络的循环连接结构是影响视网膜编码的关键因素，可高精度地预测大规模视网膜神经节细胞对动态自然场景的响应，并同时学习出各个神经节细胞感受野的形状与位置。所提出的卷积循环编码网络除了在结构上更加接近视网膜，还可以使用更少的参数学习出精度更高的编码模型。这一模型不仅具有生物学价值，而且对设计新一代脉冲视觉模型、芯片乃至研制视网膜假体都具有重要意义。

提出了基于短时程可塑性模型的脉冲视觉图像重构算法，仿照大脑中的短时程可塑性机制动态记录脉冲流的时间特性，在不受统计时间窗口长度的限制下，既保留脉冲相机低时间延迟的特性，又可获得低噪声、少动态模糊的高质量重构图像。所提出方法可根据脉冲相机产生的脉冲流特性，动态调整神经元的状态，从而推导出场景像素值。此外，还分析了如何权衡地减少静态区域的噪声和动态区域的模糊，及如何减少脉冲相机读出信号时产生的噪声。实验表明，所提出的重构算法在主观和定量的评价结果上都优于现有的脉冲相机重构算法。提出了超高速脉冲视觉检测跟踪框架，能够以无监督地方式直接处理脉冲流信息，在线动态调节脉冲神经网络状态以实现对多个超高速目标的连续跟踪。通过依次引入动态适应层、运动估计模块和基于脉冲神经元的物体检测跟踪层，构建了三个面向脉冲视觉的多目标检测跟踪算法。其中第一种算法的复杂度较低，主要面向类似于监控或者定点监测等相机固定的高速场景。而后两种算法中包含基于脉冲神经元的运动估计模块，可以适用于包含相机自运动的场景。这些基于脉冲信号的检测跟踪算法可便于移植至神经形态计算平台，同时发挥神经形态视觉传感器与计算平台的低功耗、低延迟优势。

综合对生物视觉系统工作机理的探索，与面对脉冲视觉的超高速视觉算法的研发，设计了一套超高速脉冲视觉演示验证系统。从系统实现的角度对上述面向脉冲视觉的创新性方法及其特点和适用范围进行了整理和归纳，以便用户可以根据具体的场景需求获取超高速场景中的关键信息，如进行超高速运动/变化过程的科学观测，超高速运动目标的追踪等。最后，以超高速目标打击和高速激光追踪作为本工作所提出系统的典型应用案例，介绍如何实现从本文方法到实际超高速应用的技术转化。