Prostate cancer biopsy benefits from accurate fusion of transrectal ultrasound (TRUS) and magnetic resonance (MR) images. In the past few years, convolutional neural networks (CNNs) have been proved powerful in extracting image features crucial for image registration. However, challenging applications and recent advances in computer vision suggest that CNNs are quite limited in its ability to understand spatial correspondence between features, a task in which the self-attention mechanism excels. This paper aims to develop a self-attention mechanism specifically for cross-modal image registration. Our proposed cross-modal attention block effectively maps each of the features in one volume to all features in the corresponding volume. Our experimental results demonstrate that a CNN network designed with the cross-modal attention block embedded outperforms an advanced CNN network 10 times of its size. We also incorporated visualization techniques to improve the interpretability of our network. The source code of our work is available at https://github.com/DIAL-RPI/Attention-Reg .


翻译:近些年来,革命性神经网络(CNNs)在提取图像登记至关重要的图像特征方面被证明是强大的,然而,具有挑战性的应用和计算机视觉方面的最新进展表明,CNN在理解各功能之间的空间通信能力方面相当有限,这是自留机制所擅长的一项任务。本文件旨在开发一个专门用于跨现代图像登记的自留机制。我们提议的跨时关注块将每个特征都以一卷形式有效绘制到相应卷的所有特征上。我们的实验结果显示,设计了跨时关注块的CNN网络,其嵌入了高级CNN网络10倍的外形。我们还采用了视觉化技术来改进我们的网络的可解释性。我们工作的源代码可在https://github.com/DIAL-RPI/Atresti-Reg查阅。

0
下载
关闭预览

相关内容

图像配准是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像映射到另一幅图像,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。 该技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。根据具体应用的不同,有的侧重于通过变换结果融合两幅图像,有的侧重于研究变换本身以获得对象的一些力学属性。
【AAAI2021】 层次图胶囊网络
专知会员服务
82+阅读 · 2020年12月18日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
已删除
生物探索
3+阅读 · 2018年2月10日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
VIP会员
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
已删除
生物探索
3+阅读 · 2018年2月10日
Top
微信扫码咨询专知VIP会员