【南京大学冯雯博士论文】新型深度学习模型的研究

新型深度学习模型的研究

深度学习是近年来机器学习领域中的热点研究领域。深度森林模型是一 种新型深度学习模型，扩展了深度学习的内涵和适用范围。本文开展深度森 林方面的相关研究工作，主要取得了以下创新结果：

• 1.基于森林的多层分布表示。多层分布式表示学习被认为是神经网络独有的 特性，本文提出了基于森林的多层模型 mGBDT，第一次显示出多层分布 式表示通过森林模型也能进行。在表格数据和混合数据等各类建模任务 上，mGBDT 展示了其兼具表示学习和离散数据建模的能力。

• 2.基于森林的自编码器模型。自编码器被认为是只能通过神经网络实现的独 有模型，本文工作提出了第一个基于森林的自编码器 eForest，在多类数 据上均取得了优异的性能体现。与此同时，还利用 Intel 众核芯片 KNL， 通过多进程，向量化和编译器优化等技术，获得了近线性加速比，为大规 模应用提供了基础。

• 3. 基于自编码器的毒化训练。毒化训练指对深度学习模型的训练过程进行攻 击，使得训练好的模型存在攻击者希望的缺陷。本文主要讨论通过设计新 型自编码器，通过对训练样本进行对抗表示学习，以实现毒化训练。本文 同时将算法扩展到了联邦学习框架下，验证了该算法在具备数据隐私保护 的分布式场景下依旧有效。
• 4. 多示例多标记的深度模型。多标记多示例 (MIML) 学习是面向多义性对象 的新型机器学习框架，本文设计了第一个 MIML 深度模型，可自动从原 始数据中学习出多示例的样本表示。与此同时，通过预训练 DeepMIML 模型同多标记深度森林模型相结合，在一系列任务中取得了优异的性能。