深度学习“赋能”光子结构设计

什么是深度学习？

近年来，深度学习，机器学习，人工智能等醒目的名词不断充斥着人们的视线。这些新概念广泛出现在各个领域中。本文重点介绍在光子学设计中深度学习的应用。那么究竟什么是深度学习？

图源： 中国科学院长春光机所，Light学术出版中心，新媒体工作组

人类一直以来就希望制造出拥有人类智慧的机器，即人工智能。为此，科学家展开了很多的尝试，开创了很多研究分支。其中重要的一个方向就是不再为完成某项特定任务为机器设定生硬的执行代码，而是让机器通过模拟人的决策模式来完成任务，即所谓的机器学习。而实现机器学习的手段之一便是深度学习。

简而言之深度学习是实现机器学习的一种手段，而机器学习是实现人工智能的一个研究方向。深度学习，是一种模拟生物中枢神经系统（特别是大脑）的数学模型或计算模型。该模型可以基于外界信息改变内部结构，通俗的讲就是具备学习功能。

图1 深度学习在光子学设计中的应用

注： 此图由撰稿人编译完成

图源：Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures.   Nat. Photonics (2020).

什么是光子结构设计？

在光与物质相互作用的研究中人们发现，不同的微结构与光相互作用或产生不同的效果。

通过改变结构的尺寸、材料、形状等性质，可以实现对光的调控。 因此，在光通信，生化检测，太阳能收集和量子信息处理等方面，设计得当的光子结构可以起到无与伦比的作用。

无论我们是在讨论单个等离子体纳米结构，还是由电介质或金属构件阵列组成的超材料和光子晶体，结构设计都起着核心作用。为了理解深度学习在光子学设计中的应用，我们需要先来讨论一下目前的光子学设计手段。

目前光子结构的设计方法主要有以下两种。

1 . 从基本的物理学原理出发，建立分析模型，并计算求解。 例如，对于简单的纳米颗粒，可以用Mie理论建模，通过磁多极共振求解其散射，吸收，和消光响应。这种基于物理学的设计方法可以提供一些基本的指导原则，但是用这种方法来找到合适的结构实现特定的光子特性难度极大，特别是结构的几何形状和空间分布都很复杂时几乎无从下手。因此必须依靠第二种方法

2.  基于数值模拟方法的电磁建模。 例如有限时域差分法和有限元法。从某些初始条件和边界条件开始，通过计算时间和空间上的离散麦克斯韦方程组来解决设计问题。通常来讲，对于特定的光学结构，通过求解足够多的方程可以准确地计算出光学特性。但是，就某种特定的需要而言，设计者往往要不断微调几何形状并反复执行仿真以接近目标。此过程很大程度上取决于设计模板的过往经验而且耗时良久。

那么能不能通过给定的光学性能反推出结构的设计参数呢？ 这就是光子学设计中著名的“ 逆问题 ”。

目前逆问题的解决方法通常以 优化算法为主，例如基于梯度的方法（拓扑优化，水平集方法）或演化方法（遗传算法，粒子群算法）。

这种逆向设计算法能使人们找到非直觉的，不规则的光子学结构。 其在很多应用中都优于按经验设计的结构。而采用深度学习方法来设计光子学结构则是一种全新的设计理念。这种方法使用数据驱动的建模思想，不引入人为规则和设定，而是通过学习大量的数据，得到光学特性与设计参数之间的对应规律。

这一研究领域已经吸引了大量行业内外的关注。对此，美国东北大学的刘咏民教授团队，佐治亚理工学院的蔡文山教授团队以及普渡大学的Alexandra Boltasseva教授团队合作，以“Deep learning for the design of photonic structures”为题在了Nature Photonics发表综述论文。

该综述展示了一些具有代表性的最新研究成果，尤其是对于基于经验和传统设计方法不可行的情况下，深度学习设计方法可以取得哪些突破。

什么是神经网络？

神经网络是深度学习的主要模型。神经网络中计算的基本单元是神经元，一般称作“节点”（node）或者“单元”（unit）。

节点从其他节点接收输入，或者从外部源接收输入，然后计算输出。每个输入都辅有“权重”（weight，即 w），权重取决于其他输入的相对重要性。

图2 单个神经元示意图

图源： 中国人工智能学会

大量的节点之间相互联接构成神经网络，前馈神经网络是最早发明也是最简单的神经网络。一个前馈神经网络可以包含三种节点：

1.  输入节点（Input Nodes） ：输入节点从外部世界提供信息，总称为「输入层」。在输入节点中，不进行任何的计算——仅向隐藏节点传递信息。

2. 隐藏节点（Hidden Nodes）：隐藏节点和外部世界没有直接联系（由此得名）。这些节点进行计算，并将信息从输入节点传递到输出节点。隐藏节点总称为「隐藏层」。尽管一个前馈神经网络只有一个输入层和一个输出层，但网络里可以没有也可以有多个隐藏层。

3. 输出节点（Output Nodes）：输出节点总称为「输出层」，负责计算，并从网络向外部世界传递信息。

前馈神经网络一个比较常用的例子是多层感知器。多层感知器（Multi Layer Perceptron，即 MLP）包括至少一个隐藏层（除了一个输入层和一个输出层以外）。单层感知器只能学习线性函数，而多层感知器也可以学习非线性函数。

基于多层感知器的光子学设计

在2018年，Itzik Malkiel及其同事 提出了一种双向多层感知器设计方法，该模型可用于设计等离子体纳米结构。 如图所示是一种H型金属结构。

图3 用MLP模型设计H型结构示意图

图源：Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures.   Nat. Photonics  (2020).

设计的参数主要有8个，分别是3个连续参数（各个臂的长度和旋转角度）5个二进制参数（各个臂的存在与否，用0，1表示）。设计的目标是结构在偏振光的照射下的反射光谱。该模型在18,000个样本上训练了由八组图层组成的几何预测网络和由六层组成的频谱预测网络。

图4 双向MLP模型，用于模拟和预测不同极化条件下的H结构光谱

图源：Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures.   Nat. Photonics (2020).

如图所示，深度学习的结果与数值模拟及实验测得的数据拟合良好，可以充当快速模拟器和逆设计工具。

同年，美国东北大学的马蔚及其同事为了设计一种手性材料，提出了一种具有两个双向神经网络的深度学习模型。两个双向神经网络以建模三个物理量的互连，即反射光谱，圆二色性光谱和设计参数。结果如图所示：

图5  通过双向神经网络建模预测超材料的反射光谱与圆二色光谱

图源： Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures.   Nat. Photonics  (2020).

共振周围频谱的正向预测的准确性以及设计参数的反检索得到了显着改善。模型功能也得到扩展，能够通过所需的参数进行逆向设计，或从设计参数中直接预测圆二色性光谱。

当然MLP也有其明显的缺点： 在大型数据集上进行训练时，基于MLP的逆设计模型通常无法收敛，因为存在多个满足相似要求但设计差异很大的候选对象。

为了解决这个问题，威斯康星大学的刘殿京等人提出了一种逆向设计的串联训练方法。这个想法是首先训练一个正向建模网络，将设计映射到光学响应。然后，将该预训练的前向网络连接到逆设计网络的输出，并使用前向预测误差作为监视信号。通过在这种串联配置中进行间接训练，逆向检索输出被迫收敛到仅由前向模型指导的一种可能性。简而言之，该方法解决了逆向设计时因结果不唯一而导致的数据不匹配问题。

MLP模型及其变种在光子学设计领域已被广泛研究，包括拓扑光电，集成硅光子，结构色，超材料，等离子体结构和光子晶。作为深度学习模型的简单形式，MLP需要向量化的输入和输出。通过将模型的输入和输出参数化为由几个离散且无量纲的元素组成的向量，MLP模型可以适应广泛的光子应用，而无需考虑基础物理原理。

尽管MLP模型为许多光子任务提供了一种有效的方法，但是当固有结构，目标响应和设计空间为多峰或难以参数化时，模型中的简单连接仍然会遇到一些困难。因此，一些更为复杂的深度学习模型进入了研究人员的视线。

其他先进的深度学习光子学设计

在深度学习中，卷积神经网络（CNN）是一类深度网络，它通过对每一层的输出使用卷积运算来提取输入的特征。

由于卷积运算的性质，CNN可以捕获图像中空间信息的局部相关性。在光子学研究中，CNN是处理多维数据的理想方法。

卷积神经网络已在各种光学和光子学问题而使用，例如作为逆散射问题，波前校正，数字编码超构材料，而在复杂的光子材料系统的光学特性和预测。CNN中的卷积运算是平移对称的，使其适合于建模周期性的光子结构，例如光子晶体或超材料。

浅野隆史（Takashi Asano）及其同事使用了由CNN组成的神经网络来近似光子晶体的Q因子，如图所示：

图6 利用CNN优化光子晶体的Q因子。

左：Q因子为3.8×10 ⁸ 的初始光子晶体。

右图：优化的光子晶体，Q因子提高至1.58×10 ^⁹

图源：Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures. Nat. Photonics (2020).

使用反向传播来优化纳米腔的位置，从而将Q因子从3.8×10⁸大大提高到 1.6×10^⁹ 递归神经网络（RNN）能解决与顺序数据（如语句和音频信号）相关的问题。

由于共振的各种模式 ，光谱和光信号在时域中会有各种线形。而RNN适用于对时域中具有特定线形的光信号或光谱建模。与CNN结合使用时，RNN也用于改善图像中表示的纳米结构的光学响应的近似值。如下图所示：

图7 由RNN辅助的纳米结构吸收的预测。

左：随机生成的银纳米结构（黄色区域）。

右：通过CNN和RNN的合并（橙色）近似吸收，以及纳米结构的实际吸收（蓝色）

图源： Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures. Nat. Photonics (2020).

模拟的随机银纳米结构。借助RNN，该网络能够预测800 nm至1,700 nm结构的吸收，预测结果与全波仿真结果高度一致。

深度学习算法辅助优化

拓扑和遗传优化方法长期以来一直用于解决光子学中的各种逆问题。这些方法通常需要大量的计算能力和时间，并且随着优化参数空间的增加和约束的数量而进一步扩大。为了提高速度和性能，研究人员探索了将深度生成网络（例如GAN和不同类型的AE）与伴随优化框架耦合在一起的方法。已经证明可以在标记拓扑优化的元光栅设计上有效训练条件GAN，以快速生成大量的高效器件设计。如下图所示是使用深度生成网络优化设计出的元光栅（metagrating）。

图8 一个基于GAN的超表面光栅设计

图源： Ma, W., Liu, Z., Kudyshev, Z.A. et al. Deep learning for the design of photonic structures. Nat. Photonics (2020).

与传统的拓扑优化相比，GAN辅助优化的效率要高出5倍。

此外，还可以将生成网络与拓扑优化直接混合，使他们能够不断优化器件分布，直到收敛到高效器件簇。

这种方法避免了生成训练集的过程，因为生成网络直接通过电磁仿真来学习设备几何形状与光学响应之间的物理关系。损耗函数使得它可以以更高的效率为设备提供更高的权重，并减少可能被锁定在局部最优值中的低效率设计的影响。结果是，可以将生成网络的压缩空间表示范围缩小到高效设计的子域。所提出的方法仅需要直接基于伴随的拓扑优化计算的计算成本的10％。

评价与展望

未来，深度学习与光子学设计的结合将更加紧密，面临的挑战也更加严峻。研究人员认为，深度学习可以作为发现结构与其光学响应之间复杂关系的有力工具。然而，目前大多数文献都局限于在线性图示下以光谱（反射，透射，散射，吸收等）的方式研究结构的光学性质。

为了完全控制光，摆在科研人员面前的一项紧迫任务是增强具有更大自由度的深度学习模型的能力，例如相位，角动量，轨迹，非线性，场分布等。比较有前景的方向是强化学习，通过在当前环境中采取行动来设法使累积奖励最大化。这种间接优化过程平衡了当前的知识领域和未知领域，并可能潜在地研究光子设计任务的更多光学特性，以实现对光的完全控制，扩展光子设计能力。

图源：中国科学院长春光机所，Light学术出版中心，新媒体工作组

迄今为止，光学技术主要在有限的设计空间中使用了光子优化，该设计空间在很大程度上限于结构拓扑（几何形状）。

这种优化通常会忽略其他关键设计层的深入反馈，包括在时间或在环境变化中电磁性能的演变以及制造和特性限制。这是一个基本限制，它阻碍了当前的优化方法提供有效的“全局”优化解决方案。 例如，全局优化对于基于纳米光子，相变，非线性和增益材料结构的多参数和多尺度优化至关重要，其中光学响应在很大程度上取决于材料成分和制造工艺。先进混合优化方案的进一步发展将是解决此类优化挑战的关键步骤。

由于深度神经网络包含数千到数百万个可学习的参数，因此不可避免地需要大量的标记数据来训练网络。但是，生成数据需要物理模拟或实验测量。收集海量数据并不总是可行的。

在这种情况下，可以利用无监督和半监督学习策略来减轻数据收集的负担。与监督学习不同，无监督学习算法（例如主成分分析和AE / VAE / GAN）仅需要少量标签，通常用作数据聚类和降维的工具。可以分析来自无监督学习策略的处理后数据，以揭示影响最大的光子设备的结构参数。

通过将深度学习模型与基础物理学相结合，也可以减轻海量数据的收集。例如，代替与训练数据集巨大的模型来近似物理结构和它们的响应之间的双向关系，深度学习可以用作中间步骤来有效地解决偏微分方程描述该物理系统。另外，学习物理现象背后的准据法也可以减少对数据的依赖性。

深度学习以传统优化算法的比较

图源：中国科学院长春光机所，Light学术出版中心，新媒体工作组

深度学习与数值优化算法的数据收集之间的差异在于模型如何利用数据。 对于深度学习，该模型会主动积累训练数据。 这些数据全盘描述了所研究的问题，因此，从某种意义上说，模型是由数据驱动的，即预先收集的训练数据的数量和质量有助于其性能。

相反，传统的数值算法在迭代优化步骤中被动地生成数据，其中数据（更像是副产品）主要用于检查优化进行了多长时间以及何时需要更改策略。

通常，对于特定任务，深度学习所需的数据量远远超过常规优化过程中产生的数据量。但是，用于深度学习的数据收集是一次性成本，而不是像从头开始进行数值优化时那样的持续成本。此功能使深度学习在周期性结构（如超材料或光子晶体）的光子设计任务中尤其具有竞争力。从效率的角度来看，在预先收集足够的训练数据的前提下，训练有素的深度学习模型比传统的优化算法快几个数量级

总结

深度学习的概念已远远超出了人们的预期，成为一种强大的工具，可以通过建立海量数据的多层次抽象来解决极其复杂的问题。对于光子学界来说，深度学习和其他AI技术目前正在改变光学设计，集成和测量领域。深度学习技术已经展示了其在光子结构设计，架构，材料和整个光学系统优化方面的巨大潜力。深度学习的飞速发展为解决光子设计问题提供了全新的方法，但这种帮助不是单向的，而是交互式的。``大数据''是深度学习的催化剂，它不断革新AI研究，在各个领域都有创纪录的改进。

刘咏民教授认为，深度学习和AI研究人员应该与光学科学家合作，开发非常规的，物理驱动的算法和网络。这种跨学科的方法将AI融合在一起，将在光子学结构设计中得到更广泛的应用，从而形成一套高速、准确的光子学设计框架。在这条道路上，光子学界应最终构建一个“ 光学结构和材料基因组 ”，以构建光子概念，体系结构，组件和光子材料的综合数据集，以实现可提供终极效率设备的分层机器学习算法。

随着研究的推进，相信实现全光平台，以光速执行深度学习和其他AI算法的日子为期不远。一个更加光明的AI时代即将到来。

参考资料：

https://www.nature.com/articles/s41566-020-0685-y

点击阅读原文，为AI城市代言、获得完整城市榜单！

喜欢本篇内容，请分享、点赞、在看