Transferring human motion and appearance between videos of human actors remains one of the key challenges in Computer Vision. Despite the advances from recent image-to-image translation approaches, there are several transferring contexts where most end-to-end learning-based retargeting methods still perform poorly. Transferring human appearance from one actor to another is only ensured when a strict setup has been complied, which is generally built considering their training regime's specificities. In this work, we propose a shape-aware approach based on a hybrid image-based rendering technique that exhibits competitive visual retargeting quality compared to state-of-the-art neural rendering approaches. The formulation leverages the user body shape into the retargeting while considering physical constraints of the motion in 3D and the 2D image domain. We also present a new video retargeting benchmark dataset composed of different videos with annotated human motions to evaluate the task of synthesizing people's videos, which can be used as a common base to improve tracking the progress in the field. The dataset and its evaluation protocols are designed to evaluate retargeting methods in more general and challenging conditions. Our method is validated in several experiments, comprising publicly available videos of actors with different shapes, motion types, and camera setups. The dataset and retargeting code are publicly available to the community at: https://www.verlab.dcc.ufmg.br/retargeting-motion.


翻译:人类行为者的视频之间的人类运动和外观的转移仍然是计算机视野的主要挑战之一。尽管最近图像到图像的图像翻译方法取得了进步,但有些传输环境中,大多数端到端的基于学习的重新定位方法仍然效果不佳。只有严格遵守了严格的设置,人们的外观才能从一个行为体转移到另一个行为体,而这种设置通常是考虑到其培训制度的特殊性而建立的。在这项工作中,我们提议一种以基于图像的混合制成感知方法为基础的形状方法,该方法显示与最先进的神经神经化方法相比具有竞争性的视觉再定位质量。这种配制利用用户身体的形状重新定位,同时考虑3D和2D图像域运动的物理限制。我们还提出一个新的视频重新定位基准数据集,由不同的视频组成,配有附加附加说明的人类动议,以评价将人们的视频合成的任务。这个方法可以用作共同的基础,改进实地进展的跟踪。数据集及其评价程序旨在评估更一般和更具挑战性的条件的重新定位方法。该设计使用户身体的形状在3D和2D图像域域域中重新定位。我们使用的方法在公开的图像类型中进行了验证,将一些可用的数据组合和图表用于公开的模型。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
【CVPR2020-Facebook AI】前置不变表示的自监督学习
专知会员服务
46+阅读 · 2020年4月19日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
VIP会员
Top
微信扫码咨询专知VIP会员