【博士论文】深度预测学习问题与方法研究

2020 年 12 月 18 日 专知

来自清华大学王韫博的博士论文，入选2020年度“CCF优秀博士学位论文奖”初评名单！

https://www.ccf.org.cn/Focus/2020-12-03/717578.shtml

深度预测学习问题与方法研究

随着移动互联网、传感器网络、计算机视觉的快速发展，人们获得了海量的时空数据。本文面向这类数据的时间与空间结构特性，系统研究基于神经网络的深度预测学习方法。该方法旨在学习时空序列背后的演变规律，并对其未来状态给出近似估计。本文讨论深度预测学习的以下难点问题：（1）如何在对时空相关性的统一建模中考虑层次化的深度网络特征；（2）如何缓解循环网络深度和梯度消失的矛盾，平衡短期与长期的时空特征；（3）针对各种确定性时空数据，研究如何建模其复杂的趋势非平稳过程与季节性变化；（4）针对开放视觉环境中的感知不确定性和动态不确定性，研究如何解决概率预测模型的可信度问题；（5）如何促进深度预测学习特征向下游语义级的有监督任务泛化。围绕这些问题，本文的研究过程可分为以下三个阶段，呈递进关系，每个阶段包含 2-3 个创新点：

第一阶段，本文探索深度预测学习的基础网络结构。针对难点（1），研究基于循环网络的记忆状态跨层转移方法，实现了时间记忆状态与多层空间特征的融合；在此基础上，针对难点（2），本文研究如何在延长循环网络的记忆状态转移路径的同时，延缓该路径上的反向梯度消失。

第二阶段，本文根据传统时间序列分析中的 Cramér 分解理论[1]，分别从时空信号的非平稳性、季节性和随机性的角度出发，针对难点（3-4）研究相应的深度预测学习方法。这些方法依次适用于存在固有动力学模式但趋势信息相对复杂的确定性时空数据（如短时雷达回波序列）、季节性时空数据（如交通流量序列）和从部分可见的环境中采集的时空数据（如带有噪声的视频片段）。

第三阶段，本文在数据级的时空序列预测任务的基础上更进一步，从时序关系推理的角度出发，再度审视深度预测学习的特征表达。针对难点（5），本文在循环网络的状态转移方程中分别引入三维卷积算子和可微分的记忆状态读写机制，旨在同时促进模型对短期时空特征的感知和对长期语义关系的推理。实验表明，这些改进对预测模型的任务泛化大有裨益，进而说明了面向时空数据的深度预测学习是一种有效的无监督表征学习框架。

此外，本文还设计了一套名为 PredLearn 的模型库，从系统实现的角度对上述创新性方法及其特点和适用范围进行了整理、归纳和对比，以便用户可以根据具体的场景特性合理选择模型。最后，本文以灾害天气短时临近预报作为一种典型的应用案例，介绍如何实现从本文方法到实际业务平台的技术转化。