【泡泡一分钟】我们在多大程度上解决了2D和3D人脸对齐问题？（ICCV2017-107)

每天一分钟，带你读遍机器人顶级会议文章

标题：How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)

作者：Adrian Bulat, Georgios Tzimiropoulos

来源：ICCV 2017 ( IEEE International Conference on Computer Vision)

编译：张鲁、周平

审核：陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

    本文研究了一个非常深的神经网络在现有的2D和3D面部对齐数据集上达到接近饱和性能的程度。为此，我们做出了5点贡献：

（a）我们通过结合一个当前最好的面部标记定位架构和最好的残差块首次构建了一个非常强大的baseline方法，并在一个规模非常大的合成扩展的2D面部标记数据集上进行训练，最后在所有其他的2D面部标记数据集上进行评估测试；

（b）我们创建了一个由2D标记网络引导，将2D标记标注转化为3D标记并统一了所有的现有数据集，从而创建了LS3D-W这项迄今为止最大的也是最具挑战性的3D面部标记数据集（约230,000张图像）；

（c）接着，我们训练了一个3D面部对齐神经网络并在LS3D-W上进行评估；

（d）我们进一步研究了影响面部对齐性能的所有“传统”因素的影响，如大角度，初始化和分辨率，并引入一个“新”因素，即网络的大小；

（e）我们展示了2D和3D面部对齐网络都达到了非常高的精度，这可能接近于饱和使用的数据集的性能。

    训练和测试代码以及数据集可以从下列网址下载：https: //www.adrianbulat.com/face-alignment/

图1. 面部对齐网络由4个HG（Hour-Glass）网络堆叠而成，其中所有的瓶颈块（bottleneck block）均被文献[7]中提出的层级并行多尺度块替代。

Abstract

  This paper investigates how far a very deep neural network is from attaining close to saturating performance on existing 2D and 3D face alignment datasets. To this end, we make the following 5 contributions: (a) we construct, for the first time, a very strong baseline by combining a state-of-the-art architecture for landmark localization with a state-of-the-art residual block, train it on a very large yet synthetically expanded 2D facial landmark dataset and finally evaluate it on all other 2D facial landmark datasets. (b) We create a guided by 2D landmarks network which converts 2D landmark annotations to 3D and unifies all existing datasets, leading to the creation of LS3D-W, the largest and most challenging 3D facial landmark dataset to date (~230,000 images). (c) Following that, we train a neural network for 3D face alignment and evaluate it on the newly introduced LS3D-W. (d) We further look into the effect of all “traditional” factors affecting face alignment performance like large pose, initialization and resolution, and introduce a “new” one, namely the size of the network. (e) We show that both 2D and 3D face alignment networks achieve performance of remarkable accuracy which is probably close to saturating the datasets used. Training and testing code as well as the dataset can be downloaded from https: //www.adrianbulat.com/face-alignment/

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com