【牛津大学博士论文】视觉目标结构表示的自监督学习，127页pdf

本文探讨了计算机如何使用自监督学习在没有强监督的情况下学习视觉对象的结构。我们演示了我们可以使用一个以重构为关键学习信号的自动编码框架来学习对象的结构表示。我们通过工程瓶颈将对象结构从其他变化因素中分离出来来做到这一点。此外，设计了以2D和3D物体地标或3D网格形式表示物体结构的瓶颈。具体来说，我们开发了一种自动发现2D对象地标的方法，无需任何注释，该方法使用带有2D关键点瓶颈的条件自动编码器，将表示为2D关键点的姿势和外观分离开来。**尽管自监督学习方法能够学习稳定的物体地标，但自动发现的地标与人类标注者标注的地标不一致。为解决这个问题，本文提出一种方法，通过引入一种新的地标自编码，将未配对的经验先验注入到条件自编码器中，可以利用对抗性学习中使用的强大图像鉴别器。**这些条件自动编码方法的一个副产品是，可以通过操纵瓶颈中的关键点来交互控制生成。我们利用这一特点在一个新的方法进行交互式3D形状变形。该方法以自监督的方式训练，使用自动发现的3D地标来对齐对3D形状。在测试时间内，该方法允许用户通过发现的三维物体标志进行物体形状的交互变形。最后，我们提出了一种利用光几何自编码器恢复物体类别三维形状的方法，而不需要任何三维注释。它使用视频进行训练，并学会将输入的图像分解为刚性的姿势、纹理和可变形的形状模型。