尽管深度神经网络(DNNs)取得了巨大的成功,但最近的研究表明,它们在对抗式样例面前是脆弱的,这些样例的目的是通过添加小的对抗式扰动来误导DNNs。针对这类攻击,人们提出了几种防御方法,其中许多方法被自适应攻击。在这项工作中,我们旨在通过利用领域知识从不同的角度增强ML鲁棒性: 我们提出了一个知识增强机器学习管道(KEMLP),通过一阶逻辑规则将领域知识(即不同预测之间的逻辑关系)集成到一个概率图模型中。特别是,我们开发KEMLP的方法是,根据执行目标任务的主要DNN模型的逻辑关系,集成一组不同的弱辅助模型。在理论上,我们给出了收敛结果,并证明了在适当条件下,KEMLP的预测比主DNN模型的预测更具有鲁棒性。实证研究以路标识别为例,利用路标与形状、内容之间的关系作为领域知识。我们表明,与对抗训练和其他基线相比,在白盒和黑盒设置下,KEMLP对物理攻击、L_p有界攻击、不可预见的攻击和自然破坏都实现了更高的鲁棒性,同时仍然保持较高的准确性。