【CCF优秀博士学位论文奖-2019】面向多种学习任务的深度生成模型，清华大学李崇轩

论文摘要：深度生成模型前景广阔，但是现有模型的表达能力、可解释性和判别性均有不足之处，亟待解决。具体而言，第一，现有深度生成模型中的网络结构和隐变量结构都非常简单，这限制了模型的表达能力；第二，现有深度生成模型以完全黑盒的方式拟合一个从噪音到高维数据的映射，其隐变量可解释性不足，生成图像的语义也难以控制；第三，无监督学习所提特征的判别能力远逊于前馈神经网络，而在深度生成模型中恰当地引入监督信号又是一个非平凡问题。本文面向不同的机器学习任务，设计匹配的模型和学习准则，开发高效的推理和学习算法，解决上述深度生成模型的关键性研究问题。本文的主要创新点如下：

1. 面向无监督学习，受神经科学启发，提出一个带有记忆模块和注意力机制的 深度生成模型，提高了模型的表达能力和表现；提出对抗变分推理和学习算 法，无需对模型结构作特定假设，提高了一大类无向模型的推理和学习效果。
2. 面向无监督学习和弱监督学习，基于贝叶斯网络和信息传播算法，提出一个 灵活普适的结构化深度生成模型框架，可以生成新的结构化数据并推理给定 数据中的结构化隐变量，增强了深度生成模型的表达能力和可解释性。
3. 面向有监督学习和半监督学习，基于最大间隔学习准则，提出最大间隔深度 生成模型及其变体，极大增强了显式概率模型的判别能力，同时保留了其处 理数据中的噪音和缺失信息的能力。
4. 面向半监督学习，受博弈理论启发，提出了三元生成对抗网络，首次提出半 监督生成对抗网络的最优均衡点并给出证明，显著提高了半监督分类准确率， 并首次在给定部分标注的情况下完成了语义可控的图像合成任务。

关键词： 深度生成模型；变分推理；对抗训练；图像合成；有限标注

作者介绍：李崇轩是清华大学计算机系2014级的博士研究生，他的博士生导师是张钹。他的研究兴趣主要是统计机器学习，特别是各种学习任务的深度生成模型，包括无监督、(半)监督和强化学习。