华为 Mate20 Pro 3D建模，真的能让宅男的手办老婆复活吗？

点击上方蓝字关注、置顶、标星，获取一手信息

这两天，华为在伦敦发布了Mate 20 系列手机，其中一个“3D仿生成像”的功能引起了不小的轰动。该功能可以现场将一个玩具熊猫进行3D重建，然后神奇的事情发生了，这个熊猫竟然“活了”，玩起了功夫熊猫，还可以和真人同框进行AR合照。

于是乎，网上的评论就炸开了：“我有一个大胆的想法”、“手办们都活啦”、“我老婆可以动了”。。。似乎看起来宅男们特别兴奋。下面我们来详细扒一扒这些手办老婆们真的能够复活吗？

毕竟我们“计算机视觉life”公众号是一个严肃的技术类公众号，我们先来点干货压压激动的心情。

相机硬件

硬件方面，对玩偶进行3D重建用的是前置“齐刘海”： 支持3D 深度感知相机 2400万像素，f/2.0光圈，支持固定焦距。

其中这个“3D 深度感知相机 ”就是基于结构光的RGB-D（RGB + Depth）相机，如下图所示。你可以认为这是一个缩小版的Kinect。关于结构光技术原理见我之前写的文章《深度相机原理揭秘--结构光（iPhone X 齐刘海原理）》。

如何对玩偶进行3D重建？

发布会现场华为的工作人员和余承东配合演示了整个过程。

第一个过程：使用前置RGB-D相机对一个玩偶熊猫进行3D重建。如下图所示。虽然感觉使用前置摄像头扫描有点怪怪的，不过这样也有几个优势。

1、限制了扫描的物体尺寸，只能是小型物体。

2、只能近距离扫描。

这两个限制可以保证能够得到一个比较高精度的3D重建模型。顺便说一下，扫描过程中手机和玩偶都可以移动，这个用户体验不错。

发布会并没有很细致展示模型的精细程度。我在YouTube上找到了一个观众在展台体验的视频，演示了重建的模型，如下图所示，看起来还是挺精细的，没有什么问题。

重建结束后，下一步就是扫描平面用来放置虚拟的熊猫模型。如下图所示，需要先用相机扫描一个平面，注意此时使用的是后置相机，也就是该手机另外一个大亮点：“浴霸”相机矩阵，可以通过立体视觉获得深度图像，不过这个深度图要求不高，只需要确定平面即可。

扫描好平面就可以将熊猫放上面了，可以缩放熊猫模型。重点出现了，通过手机预设的几组动作，这个熊猫竟然活了，不再是一个静止的模型，而是可以打太极，跑步等执行一系列动作。如下图所示。现场解说是熊猫的头部，身体，四肢可以被驱动做这些预设动作。

下面就是AR拍照。AR拍照最主要就是要保证跟踪模型的稳定性，不要出现模型漂移，抖动等不稳定现象，影响用户体验。这个相信很多人都已经在其他地方见识过。

另外一个有趣的是AR视频，就是可以录制和熊猫互动的视频。

这里有个有意思的点，录制AR视频时，拍摄者让余承东挥手，此时熊猫也跟着挥手。关于这个功能这里猜测可能有两种实现方式：

1、最简单的，就是点了录像按钮后，触发熊猫模型挥手动作。

2、就是有手势检测功能，检测到余承东挥手后，触发熊猫模型挥手，这个就有点难度，需要植入实时手势检测识别算法，而且很考验算法鲁棒性。

由于官方没有说明。为了验证我的想法，我在YouTube上找到了一个观众在展台体验的视频，如下图所示，在AR视频模式下，即使后面没有人，在点击录像后，熊猫也会做出挥手，伸手等动作，不过好像只有几种有限的动作。所以基本确定就是点击录像按钮后触发一些简单的动作，这样也最容易实现。

回到最初的问题

华为Mate 20 Pro的3D重建效果还是挺惊艳的，而且现场扫描也很顺畅，建模处理时间也很短，尤其是通过预设动作让模型动起来，执行一些跑、跳等动作，这在3D结构光手机中是首次。

下面我们来回到标题：华为 Mate20 Pro 3D建模，真的能让手办老婆复活吗？

笔者认为：

1、如果你的手办老婆比较简单，应该可以像熊猫玩偶一样，得到一个还不错的3D模型，可以在你的桌面、地上、床上等地方动起来。

2、如果你的手办老婆比较炫丽，重建效果可能会有所折扣，尤其是长发美女，有很多褶的裙摆等情况，重建模型可能会出现错位。毕竟现场演示的熊猫玩偶非常简单，连头发都没有，而且熊猫本身也是黑白世界的（浑身只有黑白两色），具体情况宅男们拿到真机后可以试试。

3、不管重建的结果如何，可以肯定是是重建的结果只能完成几个预设动作，比如跑、跳、转圈跑等。但是没办法自由操控四肢和身体，做出高难度动作。也就是可以得到一个只会做固定动作的虚拟模型。

不过，这对于大部分宅男来说，已经够幸福了。估计不远的将来，我们很快可以得到一个可以任意操作做任何动作的3D模型了。

长按图片关注 “计算机视觉life”                                                                          

    点赞和Ad等于赞赏~