分析 | 抖音背后的计算机视觉技术

会员服务 ·

分析 | 抖音背后的计算机视觉技术

2019 年 5 月 31 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

本文转载自有三AI

今天就体验抖音基于计算机视觉技术实现的几项高大上的功能，希望可以加深大众对计算机视觉技术及人工智能产品进程的认知。

抖音提供的功能很多，照片视频处理都不在话下，搞笑如各式贴纸、妆容术、换头换脸、图像风格迁移等，浪漫如“吹蒲公英”，严肃如后台的“鉴黄”，以下对抖音里与计算机视觉相关的产品功能点进行体验与分析。

1 美丑胖瘦收放自如

不管有没有玩过抖音，大家或多或少都在朋友圈或微博看见过如下类似的搞笑照片。

所以，大家应该就更加能理解，为什么这么多人每天活在抖音里“醉生梦死”，因为比起苦难的生活，这里真的比较轻松有趣对吧？

这些看似搞怪的图片，在抖音里实现起来其实很简单。其基本流程如下：打开抖音app，点击屏幕正中间的“+”按钮，进入照片/视频模块，选择道具图标，然后在图标工具库中选中自己想要的效果，则人在画面中的成像，就可以开始各种作妖，尤其是眼睛、眉毛、嘴巴、鼻子等脸部主要关键部位，可发生明显变形，打造出各种连亲妈都难以辨认的形象。

如图，是抖音道具图标的极小部分截图，从中也可以感受到整体功能设计呈现出多样性、娱乐性、趣味性的效果。

任何产品的功能设计，其定调都紧紧围绕着产品的目标用户，抖音主要的目标用户群体定位为90后追求潮流个性的年轻人，而这类人群喜欢刺激、渴望表达，但又相对情绪化，所以他们具有观看或发布新鲜内容以打发无聊时光及获得表达自我价值的需求。

为了更好地满足用户的上述需求，抖音提供变美、变丑、变瘦、变胖等功能，使得年轻人的互动被极大地多元化，且整个操作的过程成本极其低廉、步骤也十分简单。

小视频里的人，不仅脸部发生了变形，同时头顶灵活的“蝴蝶结小辫儿”也很生动、形象，体验的过程充满乐趣，对于很多抖音用户而言，他们十分乐意去探索这样多面搞怪的自己。

同时，由于抖音平台本身的算法优势，功能的实时响应性能也很优秀，基本只要脸一进入画面，立马就能实现拉伸和变形，用户基本感受不到延时，体验十分流畅。

这进一步体现，抖音的成功，更多的是因为他们擅长于结合技术，以更轻松的方式解决年轻人的需求痛点，抓住大部分用户的心。

上述脸部变换的功能主要基于人脸关键点检测技术实现，该技术通过定位脸部关键部位，并在关键部位上对像素点进行变换，达成各种不同的效果。人脸关键点检测技术也被广泛地应用于直播及短视频，如网易的游戏直播、YY直播等，基于该技术衍生出了很多有趣的功能，带给用户越来越新奇刺激的体验。

技术关键词：人脸关键点检测。

2 换头不是梦

上一项功能只是变形，抖音里还有更神奇的技能。

为了实现如上“换头”效果，同样地其制作流程为：启动抖音来到拍摄页面，选中“狗头”或“猪头”图标，则画面中自己的脸部就会被完全遮蔽。同时，如果用户眨眼或张嘴，会看到画面中的相同部位同步变换，体验还是挺新奇的。

该项功能进一步提升了对年轻用户的刺激感，因为对某些用户而言，他们一方面想要寻求刺激、内心具有有强烈的表达自我的意愿，但同时又不可避免地想要制造一定的神秘感，或用户本身略带羞涩感，而这一功能正好满足了这部分的需求。

小视频里眨眼的猪头十分憨萌，用来撒娇应该百试百灵吧。

那么，到底是什么样的技术，可以如此精准地定位并恰到好处地实现“偷梁换柱”呢？

实质上，该项功能的实现主要应用了图像语义分割技术。具体地，抖音通过对人体进行语义分割，获得人体各个部位如头、脸、手、脚的位置及标签，并通过用户选定的工具模板，将对应部位替换，实现最终的“换头”。相比目标检测而言，图像语义分割是精确到像素点的分类，因而替换的过程看起来也更加地智能和精准，用户体验更佳。

但体验中发现不足的是，或许是算法分割准确率的问题，尝试张开嘴巴时，随之张开的却不是头像里狗的嘴巴，而是自己的血盆大口，而有些道具在使用中就不会出现类似情况，这可能也是当前产品的一个小Bug。

技术关键词：图像语义分割。

3 想要的风格全都有

计算机视觉里比较热门的图像风格迁移技术，在抖音里也有所体现。

如图所示，上述功能实现的流程为：启动抖音app进入拍摄页面后，在道具库中选中白色的素描花朵图标，随后对输入的键盘画面即可进行风格的实时变换。原来低调科技风的键盘，瞬间变成了漫画素描式风格。

同样地，也可以实现对人像的风格变换，看到自己的脸在画面里变成“漫画脸”，感觉也挺有意思的。

基于图像风格迁移，还可以实现妆容变换。如图，是抖音里的一个贴纸妆的效果，通过妆容的迁移，用户本身可能不带妆，但清晰可见画面中眼线、眉毛、嘴唇都被化上相应的妆容，且效果自然贴切。同时妆容切换只需要重新点击选中另一个图标即可，可以很好地帮助那些小仙女用户实现快速变妆拍照。

该项功能主要是为了迎合部分追求文艺风格的用户及大部分爱美女性用户的需求，试想若一个产品可以使得用户以超低的成本，随时体验自己不同风格的美，极大地满足用户的虚荣心，则该产品的用户黏度会越来越高。

但是同时体验中也有一个感受是，有些功能存在相近或冗余，比如之前大火的所谓控雨术，在体验中发现并没有什么“控制的效果”，同时对于道具的分类也不是十分清晰，有点混乱，可能也是由于功能选项实在是太多了。

技术关键词：风格迁移。

4 带心爱的她去吹“蒲公英”

大家觉得程序员都是呆板、木讷的，然而抖音程序员实现的“蒲公英”功能却可以说是相当浪漫了。

如图所示，该功能的基本流程逻辑为：启动抖音app来到拍摄页面后，选中“吹蒲公英”工具图标，画面里就可以看到有几株漂亮的蒲公英，用户只需要对着屏幕，张大嘴巴做吹气状，则画面里的蒲公英就会像真的蒲公英一样四处散开，营造出一种唯美的意境。

该功能是抖音独创，有了它，你就可以带心爱的她天天吹蒲公英了。

小视频“吹蒲公英的现场”，整个画面感很真实，甚至于相比大自然的真实场景，更加美好。

而且由于是虚幻的，蒲公英永远都吹不完，这应该戳中了许多抖音小仙女的心。

而提出该项功能需求点的初衷，一方面是为了满足平台用户少女的浪漫情怀，而另一方面也是为了帮助单身男青年实现低成本“求偶”。同时这也进一步强化了抖音音乐化、文艺化的定位和格调。

“蒲公英”功能的实现，主要采用了人脸表情识别技术。但是在该项功能中，体验不足的是，用户只有将人脸放置在屏幕正中间，蒲公英的吹散效果才比较好，而且通常都是检测到动作后，一旦触发，就会把屏幕中所有的蒲公英都吹散开，没有办法实现单独吹某一朵蒲公英的行为，可能是当前算法在实际运用中，仍无法十分精准定位和检测的缘故吧。

不可否认，抖音的成功还在于，它通过冰冷的技术，创造性地为用户带来了暖心的情怀和浪漫，这也是值得许多人工智能产品借鉴的一种精神。

技术关键词：表情识别。

5 时刻睁大的“鉴黄”双眼

自直播、短视频应用兴起后，各种监管问题层出不穷，而对于抖音而言，用户生成的内容是海量的，基于此，抖音在用户看不见的后台，采用了基于深度学习的“图像分类”技术对用户上传的图片、视频资料进行智能监管。

在训练鉴黄系统的过程中，输入如图所示的大量训练数据，并且这些数据都携带有对应标签，标签值标明了该图片是否属于黄色图片范畴。则模型通过学习并“记住”黄色图片的特征，并在面临新的输入图片或视频时，提取相应特征后，结合学习的经验判断，该图片属于属于黄色图片的概率，最终分类概率高于一定阈值的内容会被标记敏感选项，需进行二次分流检测或人工鉴别。如此对图片/视频资料进行分类筛选，以保证内容的健康性。

在体验时也发现，相较其它短视频或直播类的平台，抖音的整体环境的营造以及内容的调性相对优良，色情、暴力及敏感内容较少，则抖音背后强大的算法技术功不可没。

抖音属于头条系产品，在算法的性能及应用上本身就具有一定的优势，假以时日，一定可以推动鉴黄算法朝着自动化及智能化更上一层楼。

技术关键词：图像分类。