【博士论文】新型深度学习模型的研究

来自南京大学冯雯的博士论文，入选2020年度“CCF优秀博士学位论文奖”初评名单！

https://www.ccf.org.cn/Focus/2020-12-03/717578.shtml

新型深度学习模型的研究

深度学习是近年来机器学习领域中的热点研究领域。深度森林模型是一 种新型深度学习模型，扩展了深度学习的内涵和适用范围。本文开展深度森 林方面的相关研究工作，主要取得了以下创新结果：

1. 基于森林的多层分布表示。多层分布式表示学习被认为是神经网络独有的 特性，本文提出了基于森林的多层模型 mGBDT，第一次显示出多层分布 式表示通过森林模型也能进行。在表格数据和混合数据等各类建模任务 上，mGBDT 展示了其兼具表示学习和离散数据建模的能力。

   
   

2. 基于森林的自编码器模型。自编码器被认为是只能通过神经网络实现的独 有模型，本文工作提出了第一个基于森林的自编码器 eForest，在多类数 据上均取得了优异的性能体现。与此同时，还利用 Intel 众核芯片 KNL， 通过多进程，向量化和编译器优化等技术，获得了近线性加速比，为大规 模应用提供了基础。

   
   

3. 基于自编码器的毒化训练。毒化训练指对深度学习模型的训练过程进行攻 击，使得训练好的模型存在攻击者希望的缺陷。本文主要讨论通过设计新 型自编码器，通过对训练样本进行对抗表示学习，以实现毒化训练。本文 同时将算法扩展到了联邦学习框架下，验证了该算法在具备数据隐私保护 的分布式场景下依旧有效。

   
   

4. 多示例多标记的深度模型。多标记多示例 (MIML) 学习是面向多义性对象 的新型机器学习框架，本文设计了第一个 MIML 深度模型，可自动从原 始数据中学习出多示例的样本表示。与此同时，通过预训练 DeepMIML 模型同多标记深度森林模型相结合，在一系列任务中取得了优异的性能。

https://www.ccf.org.cn/ccf/contentcore/resource/download?ID=143741

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“深度森林” 就可以获取《【博士论文】新型深度学习模型的研究》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源