We present CuMPerLay, a novel differentiable vectorization layer that enables the integration of Cubical Multiparameter Persistence (CMP) into deep learning pipelines. While CMP presents a natural and powerful way to topologically work with images, its use is hindered by the complexity of multifiltration structures as well as the vectorization of CMP. In face of these challenges, we introduce a new algorithm for vectorizing MP homologies of cubical complexes. Our CuMPerLay decomposes the CMP into a combination of individual, learnable single-parameter persistence, where the bifiltration functions are jointly learned. Thanks to the differentiability, its robust topological feature vectors can be seamlessly used within state-of-the-art architectures such as Swin Transformers. We establish theoretical guarantees for the stability of our vectorization under generalized Wasserstein metrics. Our experiments on benchmark medical imaging and computer vision datasets show the benefit CuMPerLay on classification and segmentation performance, particularly in limited-data scenarios. Overall, CuMPerLay offers a promising direction for integrating global structural information into deep networks for structured image analysis.


翻译:我们提出了CuMPerLay,一种新颖的可微分向量化层,它使得立方体多参数持久性能够被集成到深度学习流程中。尽管立方体多参数持久性为图像的拓扑分析提供了一种自然且强大的方法,但其应用受到多滤过结构复杂性以及CMP向量化困难的阻碍。面对这些挑战,我们引入了一种新的算法,用于向量化立方体复形的多参数同调。我们的CuMPerLay将CMP分解为多个独立的、可学习的单参数持久性的组合,其中双滤过函数被联合学习。得益于其可微性,其鲁棒的拓扑特征向量可以无缝地用于如Swin Transformer等最先进的架构中。我们为我们的向量化在广义Wasserstein度量下的稳定性建立了理论保证。我们在基准医学影像和计算机视觉数据集上的实验表明,CuMPerLay在分类和分割性能上具有优势,特别是在数据有限的情况下。总体而言,CuMPerLay为将全局结构信息集成到深度网络中,以进行结构化图像分析,提供了一个有前景的方向。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
16+阅读 · 2019年4月4日
Arxiv
30+阅读 · 2019年3月13日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
10+阅读 · 2018年2月17日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关论文
Arxiv
16+阅读 · 2019年4月4日
Arxiv
30+阅读 · 2019年3月13日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
10+阅读 · 2018年2月17日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员