医学视觉问答(Medical visual question answer, Med-VQA)的目的是准确回答医学图像所呈现的临床问题。尽管该技术在医疗保健行业和服务领域有着巨大的潜力,但它仍处于起步阶段,远未得到实际应用。由于临床问题的多样性以及不同类型问题所需的视觉推理技能的差异,Med-VQA任务具有很高的挑战性。本文提出了一种新的Med-VQA的条件推理框架,旨在自动学习各种Med-VQA任务的有效推理技巧。特别地,我们开发了一个问题条件推理模块来指导多模态融合特征的重要性选择。针对封闭式和开放式的Med-VQA任务的不同性质,我们进一步提出了一种类型条件推理模块,分别针对两种类型的任务学习不同的推理技能。我们的条件推理框架可以很容易地应用到现有的Med-VQA系统中,从而提高性能。在实验中,我们在最近最先进的Med-VQA模型上建立我们的系统,并在VQA-RAD基准[23]上评估它。值得注意的是,我们的系统在预测封闭式和开放式问题的答案方面都取得了显著的提高,特别是对于开放式问题,其绝对准确率提高了10.8%。源代码可以从https://github.com/awenbocc/med-vqa下载。

http://www4.comp.polyu.edu.hk/~csxmwu/papers/MM-2020-Med-VQA.pdf

成为VIP会员查看完整内容
38

相关内容

近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
【ACMMM2020】小规模行人检测的自模拟学习
专知会员服务
9+阅读 · 2020年9月25日
【ACM MM2020】跨模态分布匹配的半监督多模态情感识别
专知会员服务
41+阅读 · 2020年9月8日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
33+阅读 · 2020年9月2日
专知会员服务
10+阅读 · 2020年9月1日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
专知会员服务
42+阅读 · 2020年7月15日
7篇必读ACM MM 2019论文:图神经网络+多媒体
新智元
43+阅读 · 2019年11月9日
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
陶建华、杨明浩谈多模态人机对话:交互式学习能力愈发重要
中国科学院自动化研究所
31+阅读 · 2019年7月17日
LibRec 每周算法:NFM (SIGIR'17)
LibRec智能推荐
7+阅读 · 2017年10月17日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
CoQA: A Conversational Question Answering Challenge
Arxiv
7+阅读 · 2018年8月21日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
Arxiv
6+阅读 · 2018年5月22日
Arxiv
4+阅读 · 2018年4月29日
VIP会员
相关VIP内容
近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
【ACMMM2020】小规模行人检测的自模拟学习
专知会员服务
9+阅读 · 2020年9月25日
【ACM MM2020】跨模态分布匹配的半监督多模态情感识别
专知会员服务
41+阅读 · 2020年9月8日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
33+阅读 · 2020年9月2日
专知会员服务
10+阅读 · 2020年9月1日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
专知会员服务
42+阅读 · 2020年7月15日
相关论文
微信扫码咨询专知VIP会员