【泡泡一分钟】基于可控变化分析的表面运动研究(3dv-35)

每天一分钟，带你读遍机器人顶级会议文章

标题：Controllable Variation Synthesis for Surface Motion Captur

作者：Adnane Boukhayma, Edmond boyer；Inria, LJK, Univ. Grenoble Alpes

来源：3dv 2017 ( International Conference on 3D Vision）

播音员：郭晨

编译：金明   周平

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       4D表面捕捉是一种新兴的技术，用于获取运动物体的三维动态形状模型，它可以通过高质量的多视图设备或低成本传感器来获得。这些获得的数据融合了对象的形状和运动信息，而且有比较广泛的应用，比如3D内容生成、增强机器学习训练集或统计建模等。最近一段时间，表面跟踪、外观建模、动画合成等与4D数据的获取和利用相关的一些技术越来越多的受到视觉或图像处理领域的关注。本文也着重关注从多视点视频中观察到的人类语料。

       由于人类很少每次都以完全相同的方式进行类似的动作，而运动的变化又是动画现实主义的重要组成部分，但是目前4D数据动画比较常用的方案只是通过重放输入运动段或混合版本来实现，但是如此精确的重复运动周期可能导致一些不切实际的动画出现。因此，构建一个可以产生原始运动周期的细微差别的变化模型，可以大大提高生成动画的自然度。

       在本文中，作者通过使用有限数量的训练框架捕获的性能，来构建无限数量的主体运动的变化。在此，作者假定一个特定类型的运动并以此作为输入，如运动（行走、跑步、转弯等）或跳跃（跳跃远、近、高、低等），学习一系列运动以后重新采样获得新的变化。

       本文的主要贡献如下：首先，作者提倡首次在网格数据上直接使用高斯过程动力学模型，进行基于网格的运动序列的低维嵌入。这两个模型反映了潜在坐标和网格顶点坐标之间的概率映射，以及连续帧潜在坐标之间的第二次概率映射。新的运动例子是通过使用混合蒙特卡洛马尔可夫链从这个流形取样产生的。由此产生的序列在统计上类似于马尔可夫链的初始化，但并不是它的精确拷贝。第二，作者提出了一种算法，允许生成任意混合版本的输入序列。这一过程避免了观测空间中许多变化的非线性网格插值，以及训练集外部潜在轨迹的采样运动导致的样本退化。本模型只有很少的预内插序列和围绕学习轨迹的样本变化。

       经过验证，这项工作可以扩展到多个领域，具有很大的应用价值。

      图1：对同一类型运动序列的多视点获取（如运动）和任意输入序列或混合版本的变量合成。

       图2：粗坯划分。

      图3：躯干序列行走的20种潜在变异。

      图4：5个重叠的跳跃变化，每一个具有不同的颜色。

       图5：5个重叠的运动变化，每一个具有不同的颜色。

Abstract

      We address the problem of generating variations of captured 4D models automatically, and we particularly focus on dynamic human shapes as observed from multi-view videos. Variation is an essential component of motion realism, however recent mesh animation datasets and tools lack such richness. Given a few 4D models representing movements of the same type, our method builds a probabilistic low dimensional embedding of shape poses using Gaussian Process Dynamical Models, and novel variants of motions are obtained by sampling trajectories from this manifold using Monte Carlo Markov Chain. We can synthesise an unlimited number of variations of any of the input movements, and also any blended version of them, without costly non-linear interpolation of input movement variations in mesh domain. The output variations are statistically similar to the input movements but yet slightly different in poses and timings. As we show through our results, the generated mesh sequences match the training examples in realism, which facilitates 4D model dataset augmentation.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

在【泡泡机器人SLAM】公众号（paopaorobot_slam）中回复关键字“3dv-35”，即可获取本文下载链接。

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com