我们使用了一个被称为“Frankenstein博士”的工具集来分析深度神经网络中表征的相似性。有了这个工具集,我们的目标是匹配两个训练神经网络的给定层的激活,通过拼接层将它们连接起来。我们证明,在具有相同架构但不同初始化的深度卷积神经网络中出现的内部表示,即使使用一个单一的仿射拼接层,也能以惊人的高精确度匹配。我们从几种可能的线性变换中选择拼接层,并研究它们的性能和性质。匹配表示的任务与相似度的概念密切相关。在此工具集中,我们还提供了一个关于神经网络表示的相似性指数的最新研究方向的新观点:任务性能的视角。

https://www.zhuanzhi.ai/paper/107ba9d44b4b31e406cd14302c2e885f

成为VIP会员查看完整内容
19
0

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
13+阅读 · 2021年11月29日
专知会员服务
9+阅读 · 2021年10月18日
专知会员服务
8+阅读 · 2021年10月17日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
27+阅读 · 2021年8月19日
专知会员服务
31+阅读 · 2021年8月12日
专知会员服务
46+阅读 · 2021年3月12日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
14+阅读 · 2020年11月6日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
19+阅读 · 2020年10月13日
【ICML2021】因果匹配领域泛化
专知
8+阅读 · 2021年8月12日
常见的距离算法和相似度计算方法
极市平台
11+阅读 · 2020年7月31日
【深度语义匹配模型】原理篇二:交互篇
基于表示模型的文本匹配方法
AINLP
6+阅读 · 2020年5月8日
【文本匹配】Question Answering论文
深度学习自然语言处理
5+阅读 · 2020年4月20日
谈谈文本匹配和多轮检索
AINLP
5+阅读 · 2020年3月12日
利用神经网络进行序列到序列转换的学习
AI研习社
8+阅读 · 2019年4月26日
谷歌 AI:语义文本相似度研究进展
AI研习社
22+阅读 · 2018年6月13日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
Arxiv
9+阅读 · 2021年2月8日
Arxiv
5+阅读 · 2019年6月5日
Arxiv
4+阅读 · 2019年2月18日
Arxiv
5+阅读 · 2017年7月23日
小贴士
相关VIP内容
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
13+阅读 · 2021年11月29日
专知会员服务
9+阅读 · 2021年10月18日
专知会员服务
8+阅读 · 2021年10月17日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
27+阅读 · 2021年8月19日
专知会员服务
31+阅读 · 2021年8月12日
专知会员服务
46+阅读 · 2021年3月12日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
14+阅读 · 2020年11月6日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
19+阅读 · 2020年10月13日
相关资讯
【ICML2021】因果匹配领域泛化
专知
8+阅读 · 2021年8月12日
常见的距离算法和相似度计算方法
极市平台
11+阅读 · 2020年7月31日
【深度语义匹配模型】原理篇二:交互篇
基于表示模型的文本匹配方法
AINLP
6+阅读 · 2020年5月8日
【文本匹配】Question Answering论文
深度学习自然语言处理
5+阅读 · 2020年4月20日
谈谈文本匹配和多轮检索
AINLP
5+阅读 · 2020年3月12日
利用神经网络进行序列到序列转换的学习
AI研习社
8+阅读 · 2019年4月26日
谷歌 AI:语义文本相似度研究进展
AI研习社
22+阅读 · 2018年6月13日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
微信扫码咨询专知VIP会员