【Nature. Mach. Intell. 】通过图像和自由文本的放射学报告之间的交叉监督的广义射线图表示学习

近日，厦门大学王连生老师课题组在Nature机器智能子刊Nature Machine Intelligence发表论文《Generalized Radiograph Representation Learning via Cross-supervision between Images and Free-text Radiology Reports》，提出了一种不需要标注的放射影像预训练方法。

近些年来，基于深度学习的方法在放射影像分析中取得了很好的效果，而预训练是取得这些成果的基础。预训练方法期望获得迁移性更好的图像表征，以往的预训练通过在源域上进行大规模全监督或者自监督学习来达到目的。但是，全监督的预训练需要图像的标签，制作标签是一个费时费力的工程，而自监督学习目前与全监督还有一定的差距。为了解决这个重要问题，论文提出一种交叉监督的方法：REFERS（Reviewing FreE-text Reports for Supervision，REFERS），该方法使用放射影像自带的影像报告来作为监督信息进行预训练。REFERS使用transformer可以同时处理患者的多张放射影像，从而获得更加全面的信息。

论文的实验结果表明，REFERS的性能不但优于其他迁移学习和自监督学习的方法，甚至超过了使用人工标签进行全监督得到的预训练模型。论文认为REFERS有很大的潜力可以取代以前的预训练方法。

上述工作由王连生老师及其课题组成员陈潇宇、张英豪，以及香港大学Yizhou Yu教授团队合作完成。王连生老师担任第一通讯作者，硕士生陈潇宇、张英豪担任共同第一作者。

论文链接：https://www.nature.com/articles/s42256-021-00425-9

参考链接：

https://nidshm.xmu.edu.cn/info/1012/1622.htm

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GRRL” 就可以获取《【Nature. Mach. Intell. 】通过图像和自由文本的放射学报告之间的交叉监督的广义射线图表示学习》专知下载链接

请扫码加入专知人工智能群（长按二维码），或者加专知小助手微信（zhuanzhi02），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG、论文等）交流~

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取70000+AI主题知识资源