阿姆斯特丹大学博士论文《深度表示中的不变性》,96和pdf

2022 年 11 月 3 日 专知


在这篇论文中,深度表示中的不变性,我们对学习不变性表示的问题提出了新的解决方案 。我们采用两种不同的不变性概念。一个根植于对称群体,另一个根植于因果关系。最后,尽管它们是相互独立发展的,我们的目标是迈出统一这两个不变性概念的第一步。
我们提出了一个基于神经网络的排列不变聚合算子,它对应于注意机制(第2节)。我们开发了一种新的集合分类方法 。值得注意的是,所提出的基于注意力的算子的应用可以深入了解每个元素对集合标签的贡献。
我们发现面向应用的研究领域,如医学成像或机器人,数据增强技术用于学习域不变特征 。通过描述因果概念如何削弱观察到的域和任务标签之间的伪相关(第3节),我们演示了因果概念可以用来解释数据增强的成功。我们演示了数据增强可以作为模拟介入数据的工具。我们利用这些理论见解来推导一个简单的算法,它能够选择数据增强技术,从而导致更好的领域泛化。
我们提出了一种新颖的因果减少方法(第4节),将任意数量的可能高维潜在混杂物替换为与治疗变量位于同一空间的单个潜在混杂物,而不改变因果模型所包含的观察和介入分布 。在简化之后,我们使用一种灵活的转换类参数化简化的因果模型,称为规范化流。我们提出了一种从观测数据和介入数据联合估计参数化简化模型的学习算法。
我们提出了域不变变分自动编码器(第5节),这是一种生成模型,通过学习三个独立的潜在子空间来解决域移位问题,一个用于域,一个用于类,一个用于任何残留变化。我们表明,由于我们的模型的生成特性,我们也可以合并来自已知或以前未见领域的未标记数据。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“IDL” 就可以获取 阿姆斯特丹大学博士论文《深度表示中的不变性》,96和pdf》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
1

相关内容

【斯坦福博士论文】具有学习约束的深度表示,239页pdf
专知会员服务
61+阅读 · 2022年9月13日
【ICML2022】DRIBO:基于多视图信息瓶颈的鲁棒深度强化学习
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
25+阅读 · 2022年1月15日
专知会员服务
21+阅读 · 2021年6月28日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
88+阅读 · 2021年4月27日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Deep Active Learning Using Barlow Twins
Arxiv
0+阅读 · 2022年12月30日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
11+阅读 · 2020年12月2日
已删除
Arxiv
32+阅读 · 2020年3月23日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
12+阅读 · 2018年1月12日
VIP会员
相关VIP内容
【斯坦福博士论文】具有学习约束的深度表示,239页pdf
专知会员服务
61+阅读 · 2022年9月13日
【ICML2022】DRIBO:基于多视图信息瓶颈的鲁棒深度强化学习
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
25+阅读 · 2022年1月15日
专知会员服务
21+阅读 · 2021年6月28日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
88+阅读 · 2021年4月27日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Deep Active Learning Using Barlow Twins
Arxiv
0+阅读 · 2022年12月30日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
11+阅读 · 2020年12月2日
已删除
Arxiv
32+阅读 · 2020年3月23日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
12+阅读 · 2018年1月12日
Top
微信扫码咨询专知VIP会员