【博士论文】机器学习中的标记增强理论 与应用研究

2021 年 12 月 3 日 专知

来自东南大学徐 宁的博士论文,入选2021年度“CCF优秀博士学位论文奖”初评名单!

https://www.ccf.org.cn/Focus/2021-11-22/750448.shtml


机器学习中的标记增强理论与应用研究



标记端多义性是当今机器学习的热点问题。多标记学习中,每个样本都被赋予一组 标记子集来表示其多种语义信息。然而,标记强度差异现象在多义性机器学习任务中广 泛存在,而既有多标记学习研究中普遍采用的相关/无关两个子集的逻辑划分法几乎完 全忽视了这种现象,造成学习过程中不可避免的信息损失。针对这一突出问题,有必要 用一种称为标记分布的标注结构来代替逻辑标记对示例的类别信息进行描述。标记分布 通过连续的描述度来显式表达每个标记与数据对象的关联强度,很自然地解决了标记强 度差异的问题,而在以标记分布标注的数据集上学习的过程就称为标记分布学习。由于 描述度的标注成本更高且常常没有客观的量化标准,现实任务中大量的多义性数据仍然 是以简单逻辑标记标注的,为此本文提出了标记增强这一概念。标记增强在不增加额外 数据标注负担的前提下,挖掘训练样本中蕴含的标记重要性差异信息,将逻辑标记转化 为标记分布。

本文对标记增强进行研究,主要工作包括:构建标记增强基础理论框架。该理论框架回答了以下三个问题:第一,标记增强所 需的类别信息从何而来?即标记分布的内在生成机制;第二,标记增强的结果如何评价?即标记增强所得标记分布的质量评价机制;第三,标记增强为何有效?即标记增强对后 续分类器的泛化性能提升机制。理论分析和实验结果验证了标记增强的有效性。

提出一种面向标记分布学习的标记增强专用算法。 以面向标记分布学习的标记增强 为目标专门设计的算法十分重要,其关键是如何设计能够充分挖掘数据中隐藏的标记信 息的优化目标函数。因此,本文提出一种面向标记分布学习的标记增强方法 GLLE。该 方法利用训练样本特征空间的拓扑结构以及标记间相关性,挖掘了标记强度信息,从而 生成了标记分布。实验结果验证了 GLLE 对逻辑标记数据集进行标记增强处理后使用标 记分布学习的有效性。

标记增强在其他学习范式上的应用。 本文提出了基于标记增强的多标记学习方法 LEMLL,该方法将标记增强与多标记预测模型统一到同一学习目标中,使得预测模型可 以在更为丰富的监督信息下进行训练,有效地提升了学习效果。本文提出了基于标记增 强的偏标记学习方法 PLLE,该方法利用标记增强恢复候选标记的描述度,使得后续的 学习问题转化为多输出回归问题。在多标记数据集和偏标记数据集上的实验结果显示, 相较于对比算法,基于标记增强方法取得了显著更优的表现。




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MLLA” 就可以获取【博士论文】机器学习中的标记增强理论》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
125+阅读 · 2022年1月16日
【博士论文】开放环境下的度量学习研究
专知会员服务
46+阅读 · 2021年12月4日
专知会员服务
247+阅读 · 2021年10月8日
专知会员服务
85+阅读 · 2021年9月4日
专知会员服务
104+阅读 · 2021年7月17日
【南京大学冯雯博士论文】新型深度学习模型的研究
专知会员服务
67+阅读 · 2020年12月5日
经济学中的数据科学:机器学习与深度学习方法
专知会员服务
26+阅读 · 2020年10月19日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
9+阅读 · 2022年1月16日
【博士论文】分形计算系统
专知
2+阅读 · 2021年12月9日
【博士论文】开放环境下的度量学习研究
专知
7+阅读 · 2021年12月4日
【博士论文】基于冲量的加速优化算法
专知
7+阅读 · 2021年11月29日
一文读懂机器学习概率图模型(附示例&学习资源)
基于信息理论的机器学习
专知
21+阅读 · 2017年11月23日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
2+阅读 · 2022年4月17日
Arxiv
12+阅读 · 2021年6月29日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
VIP会员
相关VIP内容
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
125+阅读 · 2022年1月16日
【博士论文】开放环境下的度量学习研究
专知会员服务
46+阅读 · 2021年12月4日
专知会员服务
247+阅读 · 2021年10月8日
专知会员服务
85+阅读 · 2021年9月4日
专知会员服务
104+阅读 · 2021年7月17日
【南京大学冯雯博士论文】新型深度学习模型的研究
专知会员服务
67+阅读 · 2020年12月5日
经济学中的数据科学:机器学习与深度学习方法
专知会员服务
26+阅读 · 2020年10月19日
相关基金
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员