物联网如何可信可靠？浙大等最新《物联网(IoT)可解释人工智能》，32页pdf阐述最新XAI物联网的概述、最新技术和未来方向

2022 年 11 月 4 日 专知

可解释人工智能(XAI)通过增强终端用户对机器的信任，正在改变人工智能(AI)领域。随着连接设备数量的不断增长，物联网(IoT)市场需要对终端用户来说是值得信任的。然而，现有文献对于XAI在物联网中的应用尚缺乏系统而全面的综述性工作。为了弥补这一不足，在本文中，我们关注了XAI框架的特点和对物联网的支持。我们介绍了物联网应用中广泛使用的XAI服务，如安全增强、医疗物联网(IoMT)、工业物联网(IIoT)和城市物联网(IoCT)。通过适当的例子，提出了在这些应用中XAI模型优于物联网系统的实现选择，并总结了未来工作的关键推论。此外，我们介绍了边缘XAI结构的前沿发展，以及对物联网应用的第六代(6G)通信服务的支持，以及关键推论。简而言之，本文构成了针对未来物联网用例需求的基于XAI的框架开发的第一个整体汇编。

https://www.zhuanzhi.ai/paper/60b70e12d1bbad0142aa263371444331

概述

可解释人工智能(XAI)由于具有高度透明、可信赖、可解释的系统开发等诸多优点，越来越受到人们的重视。人工智能(AI)系统每天都在进化，具有更复杂的功能。人工智能也已经发展到可以直接与机器交互的水平。它已经成为每一个商业运作和人类日常生活的一部分。然而，这些往往容易产生模型偏差，缺乏代码信心和信任问题。为了管理这些风险并保持AI模型的透明度，XAI的出现为系统提供了许多有意义的解释，而不会对所做的决策或任何采纳的解决方案产生任何混乱[1]。XAI对当前业务的影响可能会取代传统的AI系统，这些系统能够在生产、制造、供应链、金融部门和财富管理方面产生更大的影响，带来更好的增长和可持续发展。

近年来，XAI技术引起了业界和学术界的广泛关注。该技术的发展已经取得了巨大的成功，从模型中做出了值得信赖的决策。XAI的出现目前跨越了大量的应用程序，这些应用程序推动了对各个研究领域的投资。XAI最流行的应用程序包括医疗保健[2]、金融[3]、安全[4]、军事[5]和法律部门[6]。一般来说，XAI技术已经证明了其潜力，目前需要可解释的AI模型。一个使用XAI的实际例子是国防部门[7]。此外，谷歌的云服务正在探索XAI部署可解释和包容性AI模型的潜力[8]。作为XAI对物联网(IoT)环境最成功的影响之一，可解释和透明ML模型[9]承诺了新的策略来解释黑箱决策系统[10]，基于新的解释风格[11]的设计，用于评估AI系统的透明度和可解释性。用于解释的算法的技术方面可以被物联网系统用于确保XAI模型中的伦理方面。物联网中的XAI系统的一个例子是[4]，它已被证明可以使用统计理论在工业物联网(IIoT)中提供模型不可知的解释，从而促进透明度的有效性。然而，涉及的挑战是随机新样本的考虑，这需要解决高风险物联网应用。通过使用基于LIME的XAI模型，可以学习域不变特征来保证信息处理的可信度，并且能够提供可靠的解释[12]。

XAI模型的一个关键挑战是定制用于处理非线性数据的模型，这可以通过开发数据驱动的XAI模型[13]来规避。特别是，尽管完全可解释的模型还处于初级阶段，XAI系统仍然需要能够解决解释和可解释性的理论和实践方面的新模型。例如，物联网设备中的隐私和数据保护可能无法由AI模型对模型如何做出决策进行足够安全的处理。对物联网应用的一些解释必须明确，特别是在医疗保健和军事应用中，XAI可以大大受益。因此，XAI技术有望成为物联网及其相关赋能技术的可靠技术。

A. 动机

由于黑箱模型的不透明性，人工智能系统带来的重大挑战常常从伦理角度对信任构成威胁[14]。XAI模型固有的可解释性是通过透明的方式做出决策来建立的，它允许在没有任何争论的情况下分享解释。最近，XAI模型在交付可靠、透明和合乎道德的决策方面取得了重大进展。例如，开发了大量新颖的XAI模型，以提高具有高度伦理考虑的决策的透明度。因此，XAI模型也非常适合于大量的应用程序[7]。然而，物联网应用的XAI支持非常有限，由于智能设备的资源限制，XAI支持受到了限制。将XAI的支持扩展到物联网应用及其他领域，使学术和工业研究进入一个新的维度，这有可能维护在医疗保健、国防、工业和其他物联网驱动的工业应用中所做决策的伦理关切和透明度。基于这一动机，大量的XAI模型已经部署在物联网应用中，如医疗保健[2]、金融[3]、安全[4]、军事[5]和法律部门[6]。此外，文献报道了使用物联网传感器[15]进行故障预测的深度XAI模型和用于物联网云系统[16]的端到端ML模型。更广泛地说，XAI模型的新范围还可以用来提供可信的解释，并可以在大量的应用领域取代传统的AI模型。

B. XAI在物联网中的作用

通过对部署在环境中不同类型的物联网设备所积累的数据进行适当的调查，从而可以感知特定场景中的活动。大多数识别技术通常基于人工智能技术，如ML和DL，可以提供精确的决策。AI在物联网应用中的作用可以分为以下三个发展阶段。

在第一类中，从传感器和物联网收集数据，然后输入AI算法或AI领域的ML算法。
第二个进步是利用AI改善物联网服务。这可以像对传感器数据进行调查一样简单，比如这些数据是否越界，并试图确定越界的原因，以及是否应该将数据输入AI领域。
AI模型的第三个作用是监督物联网领域的AI元素，并在AI领域的算法和ML系统之间交换信息

通过为物联网定义各种模型，我们可以观察到AI领域推理物联网领域细节的方法。例如，如果我们打算诊断故障，我们可以从物联网领域的AI能力中提取数据。我们还可以开始查询传感器或数据源的可靠性和可信性。然而，传统人工智能技术的使用缺乏对开发框架所做的决策向人类提供解释。获取做出此类决策的明显解释，可以满足在开发过程中更好地解释模型的多重目标的需求，并同时提供更直接的、精细的上下文感知服务的方法。例如，对医疗保健应用程序中的患者活动进行持续检查对于理解健康状态非常重要。对病人活动的更透明的监测使专家能够完全了解病人的行为。集成了元学习策略的XAI模型主要用于信息物理系统，这些系统是工业4.0的核心组件。它们确保了丰富的模拟基础设施，与机器的智能通信，更高水平的可视化，更好的服务质量分析和生产效率最大化。在[4]中作者提出的另一个类似的工作中，为了在工业物联网框架中赋予更高级别的安全特性，处理了模型不可知论解释，以解决智能行业的网络安全威胁。在这里，通过统计理论提供透明度，甚至为随机的新样本集提供解释，以确保在高风险的工业物联网任务的安全性。在[4]中，作者提出了一个可信任的、明显的体验平台，用于评估物IOT智能家居场景中的电力消费行为。此外，XAI在医疗健康部门的作用与物联网在疾病预测和诊断方面的作用正变得越来越重要。[19]中的工作涉及XAI模型，使医疗领域使用的物联网框架能够应对疾病预测和诊断所涉及的挑战。

随着XAI的深远影响逐渐显现，人工智能技术决策阶段(如ML和DL模型)背后的整个深刻逻辑可以被理解。此外，XAI算法允许模型在预测阶段解释每个单独的决策。它们在物联网框架中的重要性是解决资源受限物联网设备中XAI实施所涉及的问题的一种具有挑战性的手段。然而，XAI对物联网的深远影响使得终端用户信任这些部署在商业和公共场景中的设备。有了XAI模型和物联网数据的本质成分，从终端用户的角度，突出了模型训练的高性价比和透明化的问题。

C. 比较和我们的贡献

受XAI和物联网领域进展的推动，研究界提出了一些相关的综述工作。特别是，在过去几年中，各种研究人员对XAI框架进行了广泛的研究。例如，一些论文对XAI系统及其特性进行了总体概述[20,21,22,23,24,25]，并对不同的XAI算法[26]进行了综述。特别地，[20]中的作者总结了XAI在监督学习中的作用，以及它与人工一般智能相关的最新发展。同样，[22]的作者回顾了XAI中最先进的方法在理论、概念、方法和评价上采用的聚类策略的贡献。在[24]中，作者为解决XAI黑箱问题的辩论确定了四个主题。此外，基于严格的审查，这些发现有助于增强对XAI模型决策的认识。Angelov等人[25]将机器学习和深度学习研究的进展与可解释性问题联系起来。在此，作者阐述了可解释性的原则，并提出了该研究领域未来的研究方向。在[26]中，Das等人提出了分类法，并根据XAI技术的固有特征对其进行分类，并将其配置为自解释学习模型。此外，作者评估了8种XAI算法，并生成了解释图，并总结了这些方法的局限性。[21]中的作者概述了XAI、从AI中提取的背景细节、开发的起源和技术标准化，以及XAI体系结构、用例和研究挑战。Arrieta等人[23]对XAI的分类进行了全面的调查，引出了负责任AI的概念框架。此外，它还激励研究人员利用具有可解释能力的人工智能系统。

考虑到伦理问题，XAI提供了可靠的系统，并提供了关于模型的解释。对模型的改进，对系统决策的论证，对异常行为的控制，发现新的规律和隐藏的洞见[21]都需要解释。在[27,28,29]中，作者就研究挑战和应用领域从深度学习(DL)、自动化决策和个性化体验的背景下比较了各种XAI框架。其他的则专注于特定的功能，如安全[30,31]、医疗保健[32,33,34]、增强[35]、机器人[36,37]以及与ML模型[38,39,40]相关的解决方案，以探索对系统所做决策的见解。此外，[41]的作者提供了在基于强化学习的应用中使用XAI的详细总结。表1从XAI的角度简要介绍了一些现有的调查文章，以及它们的主要贡献和局限性。尽管XAI在文献中已经被各种研究人员广泛研究过，但据我们所知，目前还没有关于在物联网服务和应用中使用XAI的全面和专门的调研。XAI在各个领域的潜力，如物联网网络、安全、医疗保健和工业部门，还没有在开放文献中探索过。此外，从智能家居到智慧城市的角度，整体总结XAI与IoT的融合还有待探索。这些缺点促使我们对XAI与物联网服务的集成进行了全面的审查。具体来说，我们包括了XAI在各种物联网应用类别中的应用的最新调查，如安全、医疗保健、工业和智慧城市。本文的主要贡献在于对XAI的使用进行了广泛的总结，包括网络安全增强、IoMT、IIoT和IoCT。我们还在每个物联网应用结束时总结了本次调研的主要观察结果。最后，讨论了基于xai的物联网服务的重要研究挑战，并展望了未来的研究方向。就我们的熟练程度而言，我们是第一个提供物联网系统中XAI专门和详细调研的机构。这项调研的主要贡献可以强调如下。

与该领域的其他相关综述工作相比，该调查提供了物联网、XAI及其集成的相关背景细节的广泛总结，使研究人员能够挖掘物联网系统的可信性。

我们介绍了物联网中XAI的需求和最近文献中提出的一些关键挑战，并总结了一些最近的研究工作。
此外，我们还探索了一些物联网应用领域，如安全、医疗保健、工业和智慧城市。我们介绍了XAI在此类应用中的需求和作用，以便更好地对物联网服务进行值得信赖的探索，以及所吸取的教训。
我们还从使用XAI模型的角度详细讨论了可靠物联网服务的前沿发展。
最后，我们概述了未来研究的挑战，以考虑物联网的XAI方向。

本综述的组织如下:第二部分阐述了XAI和物联网的初步概况。第三节讨论了物联网中XAI系统的发展以及相关领域的应用类别。本节还阐述了每个应用程序的未来研究范围和相关的开放端挑战。第四部分总结了本文在建立基于xai的物联网架构的最佳措施方面的主要发现和成果。第五部分指出了XAI在物联网上的未来发展方向。第六部分是全文的总结。

图1显示了传统AI和基于XAI的系统所涉及的操作的一般顺序。在传统的人工智能系统中，最终用户无法解释学习过程，它看起来像一个不透明的黑盒子。与传统AI不同的是，XAI模型使用革命性的ML过程和可解释的模型，在学习过程和根据训练数据做出的决策中为最终用户提供可持续的透明度。

图3显示了XAI模型的精度前景，这取决于用于实现的算法。在流行的XAI模型中，深度学习[54]模型以较少的可解释特征确保了更好的精度。然而，与深度学习模型相比，基于决策树[55]、随机森林[56]和集成模型[57]的XAI模型提供了更好的解释性，但性能精度显著降低。同样明显的是，在模型的复杂性、解释系统的功能和性能方面存在着权衡。