MIT用AI创建3D动画雕塑，竟能帮助运动员分析数据

会员服务 ·

MIT用AI创建3D动画雕塑，竟能帮助运动员分析数据

2018 年 9 月 22 日 机器人大讲堂

最近小编在用健身软件Keep时，发现老是没办法跟上视频中健身教练的节奏，经常只能看到教练正面的动作而没有办法看清教练背后的动作，弄得自己手忙脚乱~~

有没有一种办法使得我们二维的视频变成三维的呢？这样就能看清教练身后的动作啦！

近日，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员就提出了一个名为“MoSculp”的新系统，它可以帮助我们更好地理解复杂运动，解决了二维视频没有完整的几何形状、我们无法检查小而微妙的动作的问题。

通过2D视频还原为3D动作的阿甘

☟

“MoSculp”系统使用的算法可以拍摄二维视频并将其转换为三维打印的“运动雕塑”，从而展示人体是如何在空间中移动的。

“MoSculp”系统根据输入视频计算运动雕塑，从一组2D图像中随时间估计人类的3D几何图形，并开发了一种基于3D感知的图像渲染方法，然后以3D感知方式将其嵌入到场景中。用户还可以直接在3D中探索雕塑或者物理地打印它。更为重要的是这个系统广泛的适用于现有的各种视频资料！

具体的流程如下：

（a）转换为运动雕塑，即人类在穿越太空时所追踪的3D路径。

（b）我们的运动雕塑可以虚拟地插回原始视频

（c）在合成场景中渲染

（d）进行物理3D打印

除了作为形状和时间的迷人美学可视化之外，“MoSculp”系统还可以为专业运动员、

舞者或任何想要提高身体技能的人提供更详细的运动研究。

写下“MoSculp”系统新论文的第一作者，博士生张秀明（音译）说，“想象一下，你有一个关于罗杰·费德勒在网球比赛中投球的视频，以及一个自己学习网球的视频，然后你可以建立两种情景的动作雕塑来比较它们，并更全面地研究你需要改进的地方。”

因为运动雕塑是三维的，所以用户可以使用计算机界面在结构周围导航并从不同的视点看到它们，从而揭示从原始视点无法访问的与运动相关的信息。

长期以来，艺术家和科学家一直在努力获得更好的运动洞察力，但这些受到他们自己的相机镜头和他们可以提供的东西的限制。

以前的工作大多使用所谓的“频闪”摄影技术，这看起来很像拼接在一起的翻书中的图像。但是，这些照片只显示了运动的快照，例如，当人们击打高尔夫球时，观众无法看到一个人手臂的轨迹。

更重要的是，这些照片还需要费力的前置设置，例如使用干净的背景和专业的深度相机和照明设备。而MoSculp只需要简单的输入一段视频序列。

给定输入视频，系统首先自动检测对象身体上的2-D关键点，例如芭蕾舞女演员的臀部，膝盖和脚踝，同时她正在进行的复杂的舞蹈序列。然后，它将这些点的最佳姿势转化为三维“骨架”。

将这些骨架拼接在一起后，系统会生成一个可以3D打印的动作雕塑，显示主体追踪的平滑、连续的移动路径。用户可以自定义他们的数字，以专注于不同的身体部位，分配不同的材料，以区分不同的部分，甚至自定义照明。

在用户研究中，研究人员发现超过75％的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化路径。

“舞蹈和高技能的运动通常看起来像'移动雕塑'，但它们只会创造短暂的形状，”Adobe创意智能实验室的首席科学家Aaron Hertzmann说（他没有参与这项研究）。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，这不需要比移动摄像机更多的设备和计算时间。”