Image registration has been widely studied over the past several decades, with numerous applications in science, engineering and medicine. Most of the conventional mathematical models for large deformation image registration rely on prescribed landmarks, which usually require tedious manual labeling and are prone to error. In recent years, there has been a surge of interest in the use of machine learning for image registration. In this paper, we develop a novel method for large deformation image registration by a fusion of quasiconformal theory and convolutional neural network (CNN). More specifically, we propose a quasiconformal energy model with a novel fidelity term that incorporates the features extracted using a pre-trained CNN, thereby allowing us to obtain meaningful registration results without any guidance of prescribed landmarks. Moreover, unlike many prior image registration methods, the bijectivity of our method is guaranteed by quasiconformal theory. Experimental results are presented to demonstrate the effectiveness of the proposed method. More broadly, our work sheds light on how rigorous mathematical theories and practical machine learning approaches can be integrated for developing computational methods with improved performance.


翻译:在过去几十年里,对图像登记进行了广泛的研究,在科学、工程和医学方面应用了无数。用于大规模变形图像登记的常规数学模型大多依赖于指定标志,通常需要烦琐的手工标签,容易出错。近年来,人们对于使用机器学习进行图像登记的兴趣激增。在本文中,我们开发了一种新型方法,通过将准正统理论和进化神经网络(CNN)结合起来,对图像进行大规模变形登记。更具体地说,我们提出了一种半正规能源模型,其中含有一种新颖的忠实术语,它包含使用预先培训过的CNN所提取的特征,从而使我们能够在不对指定标志进行任何指导的情况下获得有意义的登记结果。此外,与许多先前的图像登记方法不同,我们的方法的双轨性得到了准形式理论的保证。实验结果展示了拟议方法的有效性。更广泛地说,我们的工作揭示了如何将严格的数学理论和实用的机器学习方法结合起来,以发展计算方法,改进性能。

0
下载
关闭预览

相关内容

图像配准是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像映射到另一幅图像,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。 该技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。根据具体应用的不同,有的侧重于通过变换结果融合两幅图像,有的侧重于研究变换本身以获得对象的一些力学属性。
专知会员服务
28+阅读 · 2021年8月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
综述 | 图像配准 Image registration
计算机视觉life
18+阅读 · 2019年9月12日
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年8月27日
On Feature Normalization and Data Augmentation
Arxiv
14+阅读 · 2020年2月25日
Foreground-aware Image Inpainting
Arxiv
4+阅读 · 2019年1月17日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年8月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
相关资讯
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
综述 | 图像配准 Image registration
计算机视觉life
18+阅读 · 2019年9月12日
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员