Cardiovascular diseases (CVDs) remain the foremost cause of mortality worldwide, a burden worsened by a severe deficit of healthcare workers. Artificial intelligence (AI) agents have shown potential to alleviate this gap through automated detection and proactive screening, yet their clinical application remains limited by: 1) rigid sequential workflows, whereas clinical care often requires adaptive reasoning that select specific tests and, based on their results, guides personalised next steps; 2) reliance solely on intrinsic model capabilities to perform role assignment without domain-specific tool support; 3) general and static knowledge bases without continuous learning capability; and 4) fixed unimodal or bimodal inputs and lack of on-demand visual outputs when clinicians require visual clarification. In response, a multimodal framework, CardAIc-Agents, was proposed to augment models with external tools and adaptively support diverse cardiac tasks. First, a CardiacRAG agent generated task-aware plans from updatable cardiac knowledge, while the Chief agent integrated tools to autonomously execute these plans and deliver decisions. Second, to enable adaptive and case-specific customization, a stepwise update strategy was developed to dynamically refine plans based on preceding execution results, once the task was assessed as complex. Third, a multidisciplinary discussion team was proposed which was automatically invoked to interpret challenging cases, thereby supporting further adaptation. In addition, visual review panels were provided to assist validation when clinicians raised concerns. Experiments across three datasets showed the efficiency of CardAIc-Agents compared to mainstream Vision-Language Models (VLMs) and state-of-the-art agentic systems.


翻译:心血管疾病(CVDs)仍然是全球最主要的死亡原因,而医疗工作者的严重短缺加剧了这一负担。人工智能(AI)智能体已显示出通过自动化检测和主动筛查来缓解这一差距的潜力,但其临床应用仍受限于以下因素:1)僵化的顺序工作流程,而临床护理通常需要自适应推理,以选择特定测试并根据其结果指导个性化的后续步骤;2)仅依赖模型内在能力进行角色分配,缺乏领域专用工具支持;3)通用且静态的知识库,不具备持续学习能力;4)固定的单模态或双模态输入,且在临床医生需要视觉澄清时缺乏按需视觉输出。为此,我们提出了一个多模态框架——CardAIc-Agents,通过外部工具增强模型并自适应地支持多样化心脏任务。首先,一个CardiacRAG智能体从可更新的心脏知识中生成任务感知计划,而Chief智能体则集成工具来自主执行这些计划并交付决策。其次,为了实现自适应和针对具体病例的定制,我们开发了一种逐步更新策略,一旦任务被评估为复杂,即可基于先前的执行结果动态优化计划。第三,提出了一个多学科讨论团队,该团队会被自动调用以解读疑难病例,从而支持进一步的适应。此外,当临床医生提出疑虑时,系统会提供视觉审查面板以辅助验证。在三个数据集上的实验表明,与主流视觉-语言模型(VLMs)以及最先进的智能体系统相比,CardAIc-Agents具有更高的效率。

0
下载
关闭预览

相关内容

Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员