【斯坦福Nimit Sohoni博士论文】具有有限结构知识的机器学习和优化的鲁棒性

2022 年 5 月 3 日 专知


在本文中,我们开发并分析了三种不同机器学习环境下的鲁棒性算法 。在论文的第一部分,我们介绍了隐藏分层的问题——当一个分类模型在数据的某些未标记子类上表现不佳时——并提出了一种检测和缓解这个问题的方法。以前的工作研究了如何在已知子类标签的情况下处理这个问题。基于经验观察,未标记的子类通常在深度神经网络的特征空间中是可分离的,我们转而使用聚类技术估计数据的子类标签。然后,我们使用估计的子类标签作为分布鲁棒优化目标中的一种噪声监督形式,以便训练一个对子类间变化更鲁棒的模型。我们在几个鲁棒的图像分类基准上证明了我们的方法的有效性。我们简要讨论了以下几种替代方法:1)使用有限数量的子类标签来进一步提高性能,2) 使用对比学习来学习不太容易受隐藏分层影响的表示。在论文的第二部分,我们研究了结构化分布漂移下的分类模型评价问题。给定来自“源”分布的标记样本和来自“目标”分布的未标记样本,重要性加权是执行这种评估的标准方法;然而,重要性加权在高维设置中会遇到困难,当源分布中不包含目标分布的支持时,重要性加权就会失败。我们表明,人们可以通过对分布转移性质的一些预见来回避这些问题;具体来说,我们提出了一种使用用户定义的“切片函数”(旨在捕获可能的分布偏移轴的二进制函数)来估计目标分布上的性能的算法。我们从理论上描述了我们的方法对切片函数中的噪声和不完全性的鲁棒性,并在各种分类任务上验证了它的有效性。在论文的第三部分,我们提出了一种加速梯度法来有效地最小化一类光滑结构非凸函数,我们称之为“类凸”函数。该算法是经典凸函数加速梯度下降法的推广,对迭代间可能存在的非凸性具有较强的鲁棒性。我们提供了一阶求值次数的上界和下界,我们的算法需要找到一个近似最优,这表明我们的算法具有最优复杂度到对数因子

https://searchworks.stanford.edu/view/14172616


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“NSML” 就可以获取【斯坦福Nimit Sohoni博士论文】具有有限结构知识的机器学习和优化的鲁棒性》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资料
登录查看更多
0

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【多伦多大学博士论文】深度学习中的训练效率和鲁棒性
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
22+阅读 · 2021年4月10日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
20+阅读 · 2020年10月24日
【伯克利-Ke Li】学习优化,74页ppt,Learning to Optimize
专知会员服务
40+阅读 · 2020年7月23日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
9+阅读 · 2022年1月16日
【ICML2021】统一鲁棒半监督变分自编码器
专知
1+阅读 · 2021年7月12日
推荐 | 掌握这12条经验,对理解机器学习至关重要!(可下载PDF)
机器学习算法与Python学习
11+阅读 · 2018年6月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年6月24日
CSKG: The CommonSense Knowledge Graph
Arxiv
18+阅读 · 2020年12月21日
Arxiv
16+阅读 · 2020年5月20日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员