Intelligent fault diagnosis has become an indispensable technique for ensuring machinery reliability. However, existing methods suffer significant performance decline in real-world scenarios where models are tested under unseen working conditions, while domain adaptation approaches are limited to their reliance on target domain samples. Moreover, most existing studies rely on single-modal sensing signals, overlooking the complementary nature of multi-modal information for improving model generalization. To address these limitations, this paper proposes a multi-modal cross-domain mixed fusion model with dual disentanglement for fault diagnosis. A dual disentanglement framework is developed to decouple modality-invariant and modality-specific features, as well as domain-invariant and domain-specific representations, enabling both comprehensive multi-modal representation learning and robust domain generalization. A cross-domain mixed fusion strategy is designed to randomly mix modality information across domains for modality and domain diversity augmentation. Furthermore, a triple-modal fusion mechanism is introduced to adaptively integrate multi-modal heterogeneous information. Extensive experiments are conducted on induction motor fault diagnosis under both unseen constant and time-varying working conditions. The results demonstrate that the proposed method consistently outperforms advanced methods and comprehensive ablation studies further verify the effectiveness of each proposed component and multi-modal fusion. The code is available at: https://github.com/xiapc1996/MMDG.


翻译:智能故障诊断已成为保障机械设备可靠性的关键技术。然而,现有方法在模型于未知工况下测试的实际场景中性能显著下降,而域自适应方法则受限于对目标域样本的依赖。此外,现有研究大多依赖单模态传感信号,忽视了多模态信息在提升模型泛化能力方面的互补性。为应对这些局限性,本文提出一种面向故障诊断的双解耦多模态跨域混合融合模型。该模型开发了一种双解耦框架,用于解耦模态不变特征与模态特定特征,以及域不变表示与域特定表示,从而实现全面的多模态表示学习与鲁棒的域泛化。设计了一种跨域混合融合策略,通过随机混合跨域的模态信息以增强模态与域的多样性。此外,引入了一种三模态融合机制,以自适应地整合多模态异构信息。在异步电机故障诊断任务上,针对未知恒定工况与时变工况进行了大量实验。结果表明,所提方法在各项实验中均优于现有先进方法,全面的消融研究进一步验证了所提各组件及多模态融合策略的有效性。代码已公开于:https://github.com/xiapc1996/MMDG。

0
下载
关闭预览

相关内容

【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
深度学习中的单阶段小目标检测方法综述
专知会员服务
47+阅读 · 2021年11月23日
深度学习目标检测方法综述
专知会员服务
280+阅读 · 2020年8月1日
数据受限条件下的多模态处理技术综述
专知
21+阅读 · 2022年7月16日
无人机集群、蜂群与蜂群算法
无人机
94+阅读 · 2018年9月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
数据受限条件下的多模态处理技术综述
专知
21+阅读 · 2022年7月16日
无人机集群、蜂群与蜂群算法
无人机
94+阅读 · 2018年9月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员