理解复杂网络的深度表示是在互联网时代构建可解释和值得信赖的机器学习应用的重要一步。近似于黑箱模型(如人工或生物神经网络)预测的全局代理模型通常用于为模型可解释性提供有价值的理论见解。为了评估代理模型在另一个模型中的表示能力,我们需要开发用于模型比较的推理方法。之前的研究已经比较了模型和大脑的表征几何(以模型层或皮层区域中输入模式的表征之间的距离矩阵为特征)。在本研究中,我们提出在模型和大脑中探索这些概括的表示的统计描述,作为更广泛的一类统计的一部分,强调表示的拓扑和几何。拓扑摘要统计建立在拓扑数据分析(TDA)和其他基于图的方法的基础上。我们评估这些统计数据在用于模型选择时提供的敏感性和特异性,目的是将不同的神经网络模型相互联系起来,并对可能最好地解释黑盒表示的计算机制进行推断。这些新方法使大脑和计算机科学家能够将大脑和模型学习到的动态表征转换可视化,并执行模型比较统计推断。

成为VIP会员查看完整内容
19

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
专知会员服务
23+阅读 · 2021年9月22日
专知会员服务
14+阅读 · 2021年9月11日
最新《几何深度学习》教程,100页ppt,Geometric Deep Learning
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
54+阅读 · 2019年11月10日
图神经网络的困境,用微分几何和代数拓扑解决
机器之心
4+阅读 · 2022年3月27日
【NeurIPS2019】图变换网络:Graph Transformer Network
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
理解人类推理的深度学习
论智
17+阅读 · 2018年11月7日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
34+阅读 · 2020年1月2日
Arxiv
16+阅读 · 2018年4月2日
VIP会员
相关资讯
图神经网络的困境,用微分几何和代数拓扑解决
机器之心
4+阅读 · 2022年3月27日
【NeurIPS2019】图变换网络:Graph Transformer Network
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
理解人类推理的深度学习
论智
17+阅读 · 2018年11月7日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员