Encouraged by the success of contrastive learning on image classification tasks, we propose a new self-supervised method for the structured regression task of 3D hand pose estimation. Contrastive learning makes use of unlabeled data for the purpose of representation learning via a loss formulation that encourages the learned feature representations to be invariant under any image transformation. For 3D hand pose estimation, it too is desirable to have invariance to appearance transformation such as color jitter. However, the task requires equivariance under affine transformations, such as rotation and translation. To address this issue, we propose an equivariant contrastive objective and demonstrate its effectiveness in the context of 3D hand pose estimation. We experimentally investigate the impact of invariant and equivariant contrastive objectives and show that learning equivariant features leads to better representations for the task of 3D hand pose estimation. Furthermore, we show that standard ResNets with sufficient depth, trained on additional unlabeled data, attain improvements of up to 14.5% in PA-EPE on FreiHAND and thus achieves state-of-the-art performance without any task specific, specialized architectures. Code and models are available at https://ait.ethz.ch/projects/2021/PeCLR/


翻译:在图像分类任务对比性学习的成功鼓舞下,我们为3D手结构回归任务的结构性回归任务提出了一种新的自监督方法。对比性学习利用未贴标签的数据,以通过损失公式进行代表学习,鼓励在任何图像变换中学习到的特征表现变化不定。对于3D手作出估计,也可取的做法是对外观变异,如色彩变异等。然而,任务要求在诸如轮作和翻译等近距离变换下实现差异性变异。为解决这一问题,我们提出了一个等异性对比目标,并在3D手作出估计的背景下展示其有效性。我们实验性地调查变异性和变异性对比目标的影响,并表明学习等异性特征有助于更好地表述3D手变色估计的任务。此外,我们展示了具有足够深度的标准ResNet,受过额外无标签数据的培训,在FreiHAND的PA-EPEP中实现了高达14.5%的改进,从而在3DHPA/PEMR中实现了状态-艺术业绩,而没有任何具体的任务模型。MAR/PERMIS/专门模型。

0
下载
关闭预览

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
8+阅读 · 2018年10月31日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2022年1月26日
VIP会员
Top
微信扫码咨询专知VIP会员