Healthcare AI systems face major vulnerabilities to data poisoning that current defenses and regulations cannot adequately address. We analyzed eight attack scenarios in four categories: architectural attacks on convolutional neural networks, large language models, and reinforcement learning agents; infrastructure attacks exploiting federated learning and medical documentation systems; critical resource allocation attacks affecting organ transplantation and crisis triage; and supply chain attacks targeting commercial foundation models. Our findings indicate that attackers with access to only 100-500 samples can compromise healthcare AI regardless of dataset size, often achieving over 60 percent success, with detection taking an estimated 6 to 12 months or sometimes not occurring at all. The distributed nature of healthcare infrastructure creates many entry points where insiders with routine access can launch attacks with limited technical skill. Privacy laws such as HIPAA and GDPR can unintentionally shield attackers by restricting the analyses needed for detection. Supply chain weaknesses allow a single compromised vendor to poison models across 50 to 200 institutions. The Medical Scribe Sybil scenario shows how coordinated fake patient visits can poison data through legitimate clinical workflows without requiring a system breach. Current regulations lack mandatory adversarial robustness testing, and federated learning can worsen risks by obscuring attribution. We recommend multilayer defenses including required adversarial testing, ensemble-based detection, privacy-preserving security mechanisms, and international coordination on AI security standards. We also question whether opaque black-box models are suitable for high-stakes clinical decisions, suggesting a shift toward interpretable systems with verifiable safety guarantees.


翻译:医疗人工智能系统面临当前防御措施和法规无法充分应对的重大数据投毒漏洞。我们分析了四大类别的八种攻击场景:针对卷积神经网络、大语言模型和强化学习代理的架构攻击;利用联邦学习和医疗文档系统的基础设施攻击;影响器官移植和危机分诊的关键资源分配攻击;以及针对商业基础模型的供应链攻击。我们的研究结果表明,攻击者仅需访问100-500个样本即可破坏医疗人工智能系统,无论数据集规模如何,其成功率通常超过60%,而检测过程预计需要6至12个月,有时甚至根本无法发现。医疗基础设施的分布式特性创造了众多攻击入口,使得具备常规访问权限的内部人员仅需有限技术能力即可发动攻击。《健康保险流通与责任法案》和《通用数据保护条例》等隐私法规可能通过限制检测所需的分析而无意中庇护攻击者。供应链弱点允许单一受感染供应商对50至200个机构的模型进行投毒。医疗记录伪造协同攻击场景表明,通过合法临床工作流程的协同虚假患者就诊可在无需系统入侵的情况下污染数据。现行法规缺乏强制性的对抗鲁棒性测试,而联邦学习可能因混淆归因而加剧风险。我们建议采用多层防御措施,包括强制对抗测试、基于集成学习的检测、隐私保护安全机制以及人工智能安全标准的国际协调。我们还质疑不透明的黑盒模型是否适用于高风险临床决策,建议转向具有可验证安全保证的可解释系统。

0
下载
关闭预览

相关内容

专知会员服务
67+阅读 · 2021年1月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员