The semantically disentangled latent subspace in GAN provides rich interpretable controls in image generation. This paper includes two contributions on semantic latent subspace analysis in the scenario of face generation using StyleGAN2. First, we propose a novel approach to disentangle latent subspace semantics by exploiting existing face analysis models, e.g., face parsers and face landmark detectors. These models provide the flexibility to construct various criterions with very concrete and interpretable semantic meanings (e.g., change face shape or change skin color) to restrict latent subspace disentanglement. Rich latent space controls unknown previously can be discovered using the constructed criterions. Second, we propose a new perspective to explain the behavior of a CNN classifier by generating counterfactuals in the interpretable latent subspaces we discovered. This explanation helps reveal whether the classifier learns semantics as intended. Experiments on various disentanglement criterions demonstrate the effectiveness of our approach. We believe this approach contributes to both areas of image manipulation and counterfactual explainability of CNNs. The code is available at \url{https://github.com/prclibo/ice}.
翻译:在 GAN 中, 语义分解的潜潜伏子空间在图像生成中提供了丰富的可解释控制。 本文包含在使用 SysteleGAN2 的面对面生成情景中, 对语义潜潜潜潜潜潜潜潜空间分析的两点贡献。 首先, 我们提出一种新的方法, 通过利用现有的面貌分析模型, 如面部剖析器和地标探测器, 解析潜潜潜潜潜空间语义。 这些模型为构建各种标准提供了灵活性, 并具有非常具体和可解释的语义含义( 例如, 改变面部形状或改变皮肤颜色) 以限制潜潜潜潜潜潜空间分离。 先前未知的丰富的潜藏空间控制可以通过构建的标准来发现。 其次, 我们提出了一个新视角, 解释CNN 分类器的动作, 通过在我们发现的可解释的潜在潜伏亚空间中产生反事实。 这解释有助于揭示 分析器是否按预期学习语义。 对各种分解解的语义标准进行实验证明了我们的方法的有效性。 我们相信, 这种方法有助于图像操纵和CNN 的反事实解释性解释性解释性解释性解释性解释性解释性解释。 代码可以在\ { mabl/ / { { / / mabth/ / / 。