对人工神经网络“开刀”，利用神经科学消融法检测人工神经网络

来源：DeepTech深科技

摘要：当谈及人工神经网络，黑箱问题总会引起热议，人们对黑箱问题的评价褒贬不一。

有人认为黑盒是神经网络的优势，这代表神经网络的自主学习性，代表其自动学习以及自动完善的特性。但大部分人认为，黑箱问题需要被解决，当我们将神经网络应用到一些对安全性，稳定性要求很高的行业，如医疗，我们就必须进行精准控制，出现错误或问题时，我们要对内部结构进行分析改正，这时黑箱问题就希望得到解决。

图|Lillian, Meyes & Meisen

来自 RWTH Aachen（亚琛工业大学）机械工程学院下信息管理研究所的研究人员们在解决黑箱问题上提出了自己的见解，他们探索了神经科学技术的相关应用，以确定人工神经网络中信息是如何结构化的。

 

在他们发表在 arXiv 上的论文中，研究者在人工神经网络中使用了名为“消融”（ablation）的技术，原本是应用于神经科学的一种技术，即在神经网络中切除大脑的某些神经元来确定它们的功能。。

 

“我们的想法源自于神经科学领域的研究，该领域的主要目标是理解我们的大脑是如何工作的。”Richard Meyes 和 Tobias Meisen 两位研究者说道。“许多关于大脑功能的见解看法都是通过消融研究获得的，本质上来说，消融即选择性地切除或破坏大脑特定区域的组织，以可控的方式进行消融，检测大脑该部分对诸如言语生成、运动等日常工作的影响。”

在此之前，消融已经被应用在一些人工神经网络的研究中，但这些研究主要关注于调整神经网络层和改变其结构，因此更像是参数搜索而不是生物学的消融法。

 

Mayes Meisen 以及他们的同事 Peter Lillian 进行这项实验的目的是想从生物学的角度检验人工神经网络，评估它们的结构以及不同组成部分的不同功能。最后，他们决定用消融来做这个测试，这种技术在神经科学研究中使用了 200 多年。

 

在 Mayes Meisen 和他同事的研究中，研究人员希望以破坏神经网络的特定区域的方法，观察该区域如何影响性能。最终，通过这些观测结果对人工神经网络和生物神经网络的组织形式进行比较。

“在人工神经网络上应用消融的方法十分简单的，”Meyes 和 Meisen 解释道。“首先，我们训练神经网络来完成特定的任务，比如说识别手写数字。第二步，我们切除网络的某一部分，然后评估由这种破坏导致的性能变化。第三步，我们确定网络性能的改变和被破坏的位置之间是否有联系。通过这种方法，我们发现网络的某些特定能力，比如控制机器人执行前进动作，是通过局部网络控制的。”

图| 当每个部分被切除后，切除该部分后的输出结果会被保存下来。（图片来源：论文）

通过对训练用于在线圈中导航的人工神经网络进行消融操作，并检查这种干预措施对输出产生的影响，研究者获得了一系列有趣的发现——结果显示人工神经网络和生物的神经网络之间的确存在联系和相似之处。这些相似之处与网络如何自我安排和存储信息有关。

 

 Meyes 和 Meisen 说道：“最令我们感兴趣的发现是，一般来说被损坏的神经网络性能会下降，但网络的某些特定能力，比如识别数字，其中部分被损坏反而会增强识别能力。我们的研究表明，我们可以通过消融正确区域用以增加一个神经网络的性能。此外，研究还表明，神经科学研究得方法在人工神经网络研究上的应用，或许可以为理解人工智能开辟新的视角。”

 

尽管 Meyes, Meisen 和 Lillian 得到了喜人的结果，但他们的研究也存在一定的局限性。比如说，他们的研究受限于使用强化学习，依赖于实时的机器人训练模型，这仅仅只是检验生物神经网络和人工神经网络的第一步。

未来的研究工作或许可以更详细、更大规模地研究人工神经网络与大脑神经网络之间的联系。

“我们计划继续探索通过利用神经科学来启发人工神经网络研究的研究方向，”Meyes 和 Meisen 说道。“我们接下来的计划是将人工神经网络中的活动可视化，就像大脑的活动可以用例如 fMRI 的成像方法可视化一样。目标是使神经网络的决策过程更加透明，从而获得对人工神经网络进行更全面的了解。”

 

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”