CMU研究员拿手机录视频，人脸3D建模高度逼真！

2020 年 4 月 6 日 极市平台

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

来源：新智元@微信公众号

【极市导读】3D人脸建模技术一般成本高昂。而现在，卡内基梅隆大学的研究人员通过在智能手机上录一段视频，就能轻松完成！而且效果逼真又不吓人。最近，高通举办了AI创新应用大赛，奖金池高达40万+，分为移动应用赛道和AIOT赛道，为AI移动开发者们提供了展示创意和想法的舞台，小伙伴们可以前往文末海报参与一波~

拿手机拍一段视频就能实现人脸3D建模，高度逼真！

还记得阿凡达里的3D人脸数字建模吗？阿凡达的人物3D建模是利用通行已久的 LightStage 技术将目标对象360 度拍出各角度完整影像之后经过标记与微调后让程式自动建模与贴图。南加大团队打造了拥有球体外型的“LightStage”硬件设施，剧组演员进入球体拍摄不同光线来源与亮度的照片，再运用计算机程序，打造逼真的人脸模型，进而做出电影中的虚拟角色。

而这种3D人脸建模技术一般需要非常昂贵的设备和专业技术才行。而现在，卡内基梅隆大学的研究人员通过在普通的智能手机上录一段视频，就能轻松完成！而且效果逼真又不吓人。

轻轻松松实现人脸3D建模

用智能手机连续拍摄包含面部正面和侧面图像的视频会产生大量的数据。卡内基梅隆大学机器人学院研究中心开发了一个两步过程，在深度学习算法的帮助下，进行了人脸模型的数字重建。该团队表示，他们的实验方法精度可以达到 亚毫米级别 ，比其他基于摄像机的建模过程效果更佳。

人脸数字技术的应用非常广泛，可以用来制作游戏，VR或者AR，也可以用于动画、生物识别甚至医疗领域。一个精确的面部3D渲染也有助于打造定制的外科口罩或呼吸器。

动画片中的应用

VR虚拟现实应用

机器人学院的副研究教授 Simon Lucey 说: “人脸的3D重建一直是计算机视觉和图形学领域的一个悬而未决的问题，因为人脸面部特征非常细致入微。如果重建过程中出现轻微异常，也会让最终结果看起来和实际的面部特征差很多。”

激光扫描仪、结构光和配备多个相机设备的工作室可以产生高精度的面部扫描结果，但是这些专业的传感器对于大多数应用场景来说昂贵得让人望而却步。然而，卡内基梅隆大学新开发的方法 只需要一部智能手机 。

这个方法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 共同研发，于3月初举行的 IEEE 计算机视觉应用冬季会议上展示。首先要拍摄15到20秒的一个视频。研究人员使用iPhone x 的慢动作功能进行了拍摄。

“高帧率的慢动作是我们设计方法的关键之一，因为它生成了一个密集的点云，”Lucey 说。

深度学习算法助力建模

然后，研究人员采用了一种常用的技术，叫做 视觉即时定位与地图构建(SLAM) 。可视 SLAM 将表面上的点进行三角测量以计算其精确的形状，同时利用这些信息来确定摄像机的位置。这种技术可以创建人脸的初始几何图形，但缺少的数据会在模型中留下空白。

第二步，研究人员运用深度学习算法来填补这些空白。然而，深度学习只能在有限的范围内使用: 它可以识别人的整体外观和一些标记点，比如耳朵、眼睛和鼻子。然后使用经典的计算机视觉技术来填补SLAM的空白 。

“深度学习是我们每天都在使用的一个强有力的工具，” Lucey 说。“但是深度学习会倾向于记忆解决方案” ，但是面部细节千差万别，记忆功能并不利于区分这些差别。

这种方法比较耗时，需要30-40分钟的处理时间。但是整个过程都可以在智能手机上完成。

除了面部重建，卡内基梅隆大学研究小组的方法也可以用来捕捉几乎任何物体的几何形状。然后，这些物体的数字重建可以被整合到动画中，或者通过网络传输到可以复制物体的3D 打印网站。

参考链接：

https://techxplore.com/news/2020-04-smartphone-videos-highly-realistic-d.html

-END -

*延伸阅读

极市独家福利

40万奖金的AI移动应用大赛，参赛就有奖，入围还有额外奖励

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：AI移动应用-小极-北大-深圳），即可申请加入AI移动应用极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~