Image registration refers to the process of spatially aligning two or more images by mapping them into a common coordinate system, so that corresponding anatomical or tissue structures are matched across images. In digital pathology, registration enables direct comparison and integration of information from different stains or imaging modalities, sup-porting applications such as biomarker analysis and tissue reconstruction. Accurate registration of images from different modalities is an essential step in digital pathology. In this study, we investigated how various color transformation techniques affect image registration between hematoxylin and eosin (H&E) stained images and non-linear multimodal images. We used a dataset of 20 tissue sample pairs, with each pair undergoing several preprocessing steps, including different color transformation (CycleGAN, Macenko, Reinhard, Vahadane), inversion, contrast adjustment, intensity normalization, and denoising. All images were registered using the VALIS registration method, which first applies rigid registration and then performs non-rigid registration in two steps on both low and high-resolution images. Registration performance was evaluated using the relative Target Registration Error (rTRE). We reported the median of median rTRE values (MMrTRE) and the average of median rTRE values (AMrTRE) for each method. In addition, we performed a custom point-based evaluation using ten manually selected key points. Registration was done separately for two scenarios, using either the original or inverted multimodal images. In both scenarios, CycleGAN color transformation achieved the lowest registration errors, while the other methods showed higher errors. These findings show that applying color transformation before registration improves alignment between images from different modalities and supports more reliable analysis in digital pathology.


翻译:图像配准指的是通过将两幅或多幅图像映射到同一坐标系中,实现空间对齐的过程,从而使相应的解剖或组织结构在图像间匹配。在数字病理学中,配准能够直接比较和整合来自不同染色或成像模态的信息,支持生物标志物分析和组织重建等应用。不同模态图像的准确配准是数字病理学中的关键步骤。本研究探讨了多种颜色变换技术如何影响苏木精-伊红(H&E)染色图像与非线性多模态图像之间的配准效果。我们使用了20对组织样本数据集,每对样本均经过多种预处理步骤,包括不同颜色变换(CycleGAN、Macenko、Reinhard、Vahadane)、反转、对比度调整、强度归一化和去噪。所有图像均采用VALIS配准方法进行配准,该方法首先应用刚性配准,然后在低分辨率和高分辨率图像上分两步执行非刚性配准。配准性能通过相对目标配准误差(rTRE)进行评估。我们报告了每种方法的中位数中值rTRE(MMrTRE)和平均中值rTRE(AMrTRE)。此外,我们使用十个手动选取的关键点进行了定制化点基评估。配准分别在两种场景下进行:使用原始多模态图像或反转后的多模态图像。在这两种场景中,CycleGAN颜色变换均实现了最低的配准误差,而其他方法显示出较高误差。这些结果表明,在配准前应用颜色变换能够改善不同模态图像间的对齐效果,并支持数字病理学中更可靠的分析。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员