深度信念网络研究现状与展望

2021 年 2 月 2 日 专知

摘要: 深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想, 人们设计了不同结构和学习算法的深度信念网络模型.本文在回顾总结深度信念网络的研究现状基础上, 给出了其发展趋势.首先, 给出深度信念网络的基本模型结构以及其标准的学习框架, 并分析了深度信念网络与其他深度结构的关系与区别; 其次, 回顾总结深度信念网络研究现状, 基于标准模型分析不同深度信念网络结构的性能; 第三, 给出深度信念网络的不同无监督预训练和有监督调优算法, 并分析其性能; 最后, 给出深度信念网络今后的发展趋势以及未来值得研究的方向.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190102

人工神经网络是计算机模拟人类大脑处理信息的一种运算模式, 即通过训练输入和输出数据, 使网络得到关于输入和输出的非线性映射关系, 从而在未来的任务中进行自主计算.因此, 人工神经网络是计算机科学、认知科学、脑科学和数学的交叉学科, 其在模式识别、智能控制、多种信号处理、优化设计等领域得到较大的发展, 并已在信息产业中得到了成功的应用[1-5]. 20世纪八十年代末期, 用于人工神经网络的反向传播算法(Back-propagation, BP)的发明, 给机器学习带来了希望, 掀起了基于统计模型的机器学习热潮.这个时候的人工神经网络虽然也被称作多层感知器(Multi-layer perceptron, MLP), 但实际上是一种只含有一个隐含层的浅层人工神经网络模型.进入21世纪以后, 随着互联网的高速发展, 对大数据的智能化分析和预测提出了巨大需求.由于浅层网络往往采用梯度类学习算法, 人为经验因素较多, 缺乏自主学习过程且对初始参数的设定依赖性较强[6-8], 这限制了神经网络的特征自动提取能力, 使得其在处理大规模不确定性数据时往往误差较大.生物神经系统学研究结果表明, 人类的智能主要取决于大脑皮层, 而大脑皮层是一个大规模互连的深层生物神经网络[9-11], 主要认知方式是无监督自主学习与推理.探求大脑的组织结构和运行机制, 从模仿人脑深层学习机制的角度出发, 寻求新的信息处理方法是当前人工智能领域发展的优先方向.然而, 由于理论分析的难度, 加上训练方法需要很多经验和技巧, 所以这个时期深层人工神经网络相对较为沉寂.

2006年, 加拿大多伦多大学教授、机器学习领域泰斗—Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《Science》上发表了一篇文章, 开启了深度学习(Deep learning, DL)在学术界和工业界的浪潮[12-14].主要思想是利用"逐层初始化(Layer-wise pre-training)"来完成自主学习与推理过程, 从而有效克服深层结构的训练困难.近几年来, 深度学习凭借其模拟人脑分层学习和自主推理的认知机理逐渐成为研究热点[15], 同时也带动了人工神经网络领域的进一步发展.由于深度学习能够在大量数据任务中快速稳定地计算, 这推动了云计算、大数据科学的发展, 如今已经在自然语义理解、模式识别问题、机器人学和数据挖掘等方面得到了较好的应用[16-19], 甚至在机器情感分析方面也开始被研究, 使得该领域朝着图灵机的实现又迈进了一大步. 2016年, 利用深度学习技术训练过的阿尔法围棋(AlphaGo)击败人类围棋冠军, 引起了学术界和科技界的巨大轰动, 并激起了人们对深度学习研究的再一次热潮.

目前, 深度信念网络(Deep belief network, DBN)是深度学习的主要实现方法之一. DBN是具有若干潜变量层的生成模型.潜变量通常是二值的, 而可见单元可以是二值或实数[20-21].尽管构造连接比较稀疏的DBN是可能的, 但在一般的模型中, 每层的每个单元连接到每个相邻层中的每个单元, 而层内没有连接. DBN可以通过若干个受限玻尔兹曼机(Restricted Boltzmann machine, RBM)的顺序堆叠来构造, 其学习过程分为两个阶段, 即首先对RBM进行逐层无监督预训练, 再用反向传播算法对整个网络进行有监督的调优. DBN的这种分阶段训练方法使其在学习深层结构上取得了一定的成功, 并在图像处理、模式识别、系统建模和预测等任务中得到了关注和研究[20, 22-27].

近年来, 众多学者在现有DBN结构和学习算法的基础上进行了拓展与改进, 并提出了多种类型的DBN变种模型.目前, 比较常见的DBN变种模型主要有稀疏DBN[28-29]、自组织DBN[26]、增量式DBN[27]、递归DBN[30].与传统的DBN相比, 改进型的DBN分别在各自的聚焦点上取得了部分性能上的提升.但是, 在结构自主确定方面, DBN仍然存在一些难以解决的瓶颈问题, 相关的研究工作还处于刚刚起步状态, 在理论、技术以及应用层面上还有很大的提升空间, 在未来一段时间内仍将是深度学习研究中比较热门的研究方向之一.