自动放射学报告在减轻放射科医生繁重的工作和提高诊断解释方面具有巨大的临床潜力。最近,研究人员用医学知识图谱增强了数据驱动的神经网络,以消除这项任务中严重的视觉和文本偏差。这些图的结构利用了疾病主题标签通过常识形成的临床依赖关系,通常在训练过程中不进行更新。因此,固定的图不能保证最合适的知识范围,限制了算法的有效性。为了解决这一问题,本文提出了一种具有动态结构和节点的知识图谱DCL,以促进对比学习的医疗报告生成。图的基本结构是根据一般知识预先构造的。然后探索从检索到的报告中提取的特定知识,以自底向上的方式添加额外的节点或重新定义它们的关系。在输入到解码器模块以生成报告之前,每个图像特征都与它自己的更新图形集成。最后,引入图像-报告对比度和图像-报告匹配损失,以更好地表示视觉特征和文本信息。在IU-Xray射线和MIMIC-CXR数据集上进行评估,DCL在这两个基准上优于之前的最先进模型。

成为VIP会员查看完整内容
20

相关内容

医学领域的人工智能是使用机器学习模型搜索医疗数据,发现洞察,从而帮助改善健康状况和患者体验。 得益于近年来计算机科学和信息技术的发展,人工智能 (AI) 正迅速成为现代医学中不可或缺的一部分。 由人工智能支持的人工智能算法和其他应用程序正在为临床和研究领域的医学专业人员提供支持。
【CVPR2023】带有噪声标签的孪生对比学习
专知会员服务
31+阅读 · 2023年3月16日
【AAAI2023】用单塔Transformer统一视觉语言表示空间
专知会员服务
14+阅读 · 2022年11月27日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【CVPR2022】基于渐进自蒸馏的鲁棒跨模态表示学习
专知会员服务
17+阅读 · 2022年4月13日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
IJCAI 2022 | 使用陈述句进行视觉问答的Prompt Tuning
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
12+阅读 · 2021年10月22日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
31+阅读 · 2020年9月21日
Arxiv
15+阅读 · 2020年2月5日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【CVPR2023】带有噪声标签的孪生对比学习
专知会员服务
31+阅读 · 2023年3月16日
【AAAI2023】用单塔Transformer统一视觉语言表示空间
专知会员服务
14+阅读 · 2022年11月27日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【CVPR2022】基于渐进自蒸馏的鲁棒跨模态表示学习
专知会员服务
17+阅读 · 2022年4月13日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
相关基金
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
相关论文
Arxiv
12+阅读 · 2021年10月22日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
31+阅读 · 2020年9月21日
Arxiv
15+阅读 · 2020年2月5日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
微信扫码咨询专知VIP会员