照片上的人出来了!云从3D人体重建登顶三项榜单,一张照片就能生成3D形象

2019 年 3 月 20 日 量子位
郭一璞 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

跳起来的妹子被定格在半空中,成为一张平面的照片。

现在,输入这张照片到特定的程序里,就变成了这样:

不只360°,全角度可见的3D立体形象,就好像妹子要从照片里跳出来一样。

以往的3D人体重建,往往需要多个摄像头,或者连续的多帧影像,才能重建出人体的3D模型。

不过现在,云从科技在3D重建领域刷新了榜单,而且只需要一个普通摄像头,拍摄一张照片就可以。

而且,既然一张照片就可以生成3D图像,那么连续的一段视频,就可以生成一个动画电影片段啊。

比如这样的动态场景,像是陈佩斯老师的《吃面》:

我们把它3D化,从正面看:

从侧面看:

从背面看:

从头顶看,上帝视角吃面:

只要上个色,就可以变成动画版《吃面》。

三个数据集皆取得第一

云从的基于单帧图像的3D人体重建技术同时在Human3.6M、Surreal和UP-3D三个数据集上排到了第一名,将原有最低误差记录大幅降低30%。

 Human3.6M数据集

 Surreal数据集

 UP-3D数据集

每个数据集上的每项的error都要比此前的研究低,意味着生成的3D模型相对更为准确,更接近人体的真实状况。

云从科技3D人体重建技术全身精度误差(Surface Error)在Surreal上从75.4毫米降低到52.7毫米,关节精度误差(3D Joint Error)从55.8毫米降低到40.1毫米,Human3.6M上的关节精度误差(3D Joint Error)从59.9毫米降低到46.7毫米,技术的执行速度从之前的上百毫秒降低到仅需5毫秒。

部署在手机上,无需3D结构光

云从的这项技术通过对RGB图像的分析,推理出人体或人脸的3D形态,并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,从而得到人体的姿态或表情信息。

除了预测人体的3D形态和姿势,这项技术还可以实现用6万多个点完整描绘人体,帧率达到200fps。

另外,在部署上的一个优点是,可以利用普通光学摄像头作为感知设备,不需要连续图像或者多视角拍摄。

也即是说,如果将这项技术部署在手机上,那么不需要3D结构光也可以实现3D人脸识别,或者制作3D表情。

相比传统的人体关键点检测,基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能同时预测大量的人体表面关键点信息,预测结果更加丰富,而且每个点的坐标都是3D的,能够体现不同躯干的纵深信息。

多样的应用

除了在手机上实现各种3D卡通表情,3D人体重建技术还可以用在许多不同的场景。

商场购物就是一大应用场景,只需要一个角度的一张照片,就可以重建出顾客的身体3D模型,模拟穿上衣服的效果,节约了落地成本和部署难度。

另外,这一技术也可以优化自拍、直播、短视频软件里的美颜、瘦身功能,在3D模型上美颜,效果会相对自然,不会出现角度极端的“蛇精脸”,加上虚拟的妆容打扮也可以更自然。

而当技术成熟之后,在影视特效制作方面,这项技术也可以更方便的制作出阿丽塔这类3D角色,而不必使用复杂的设备。


作者系网易新闻·网易号“各有态度”签约作者

订阅AI内参,获取AI行业资讯

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;


欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !

登录查看更多
4

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
已删除
将门创投
7+阅读 · 2019年10月10日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
用Python制作3D动画
Python程序员
30+阅读 · 2018年1月17日
Arxiv
5+阅读 · 2018年5月5日
Arxiv
3+阅读 · 2018年4月18日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
4+阅读 · 2017年11月4日
VIP会员
Top
微信扫码咨询专知VIP会员