想看特朗普跳《鸡你太美》吗?这个AI技术做到了

2020 年 12 月 11 日 量子位
蕾师师 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

只要一张照片、一段视频,就能让特朗普跟着蔡徐坤「唱、跳、Rap、篮球」!

像这样。

这就是来自上海科技大学团队的一项新研究,在提出的新框架内,处理人体图像合成任务。

其中包括人体运动模仿、外观转换和新视角合成等。

并且,该项目的代码、数据集已开源。

建立模仿数据集

首先,研究团队建立了一个具有多种样式、不同人物穿不同衣服的数据集,称为Impersonator(iPER)数据集。

研究人员采集了30个研究对象的数据,他们的体型、身高各不相同。每个研究对象穿着不同的衣服,完成一套指定动作和一套随机动作。

整个数据集有206个视频、包含241564帧画面。

206个视频以特定的命名保存,例如“ xxx_yyy_zzz.mp4”,其中:

  • xxx:演员姓名

  • yyy:外观编号,不同的编号表示不同的衣服

  • zzz:动作类型,1代表姿势,2代表随机姿势

如何保留人物细节特征?

目前,主要是用2D图片来确定肢体的结构和动作,但是这远远不能满足这里的需求。

这里采用了3D网格肢体复原形式来提取动作和姿势,即可以模拟关节的位置和旋转,又能够表现出个性化的身体形状。

但是纹理、样式、颜色又该怎么保留呢?

针对这个问题,研究者提出了注意型液化GAN。

通过降噪卷积自动编码器提取特朗普的身体特征,然后经过GAN不断地训练学习、微调、监督、转化,将低分辨率的模型转变成高分辨率的模型,使输出来的视频图像清晰。

整个模型的工作流程大致如下:

(a)首先,肢体网格恢复模块将每个图像的3D网格图绘制好。

(b)其次,流组模块将计算图像空间中的投影顶点,将图像分成动作前景图和背景图。

(c)最后,GAN模块生成三个层,第一层是背景层,第二层是临摹出来的动作层,第三层是参考保留细节层。

注意型液化GAN

在本文中,不仅提出了注意型液化GAN,还提出了一种带有注意型液化块AttLWB(Attentional Liquid Warping Block),两者共同运作,输出高真的模仿图像。

(a)addWB结构,获取了GTSF的数据,生成自己的数据模型。
(b)(Attentional) Liquid Warping Block结构,基于GSID和GTSF的数据,并经过一系列的运算,生成参数。
(c)AttWB结构层。经过这里,得到了最终的数据结果。

网络架构图


大量的实验证明了这个方法在保持面部特征性、形状一致性和衣服细节等方面很有效。

AI舞蹈动作恶搞,不仅恶搞了特朗普,还有人还恶搞了华盛顿。

微博互联网知名博主说,现在的AI论文Demo越来越不尊重“老人”了。调侃200多岁的华盛顿好吗?这不好。

作者团队介绍

这个科研团队来自于上海科技大学

通讯作者是高盛华,高盛华博士2008年本科毕业于中国科学技术大学,2012年博士毕业于新加坡南洋理工大学,2014年8月加入上海科技大学,任助理教授,研究员。

他的研究方向是计算机视觉、机器学习。

高盛华

第一作者是Wen Liu,2016年在西北工业大学获得了学士学位,目前在上海科技大学攻读博士。主要研究人体三维体重建、图像合成、运动转移等方面。

Wen Liu

还有一位作者是Lin Ma,硕士毕业于哈尔滨工业大学,在香港中文大学获得了博士学位。曾经是华为诺亚方舟实验室的研究员,现在是深圳腾讯AI实验室的首席研究员。他目前的研究兴趣在计算机视觉领域、多模式深度学习领域等。

Lin Ma

其他参与的作者还有Zhixin Piao、Zhi Tu、Wenhan Luo 等。

项目地址:
https://www.impersonator.org/work/impersonator-plus-plus.html

数据集下载地址:
https://svip-lab.github.io/dataset/iPER_dataset.html

开源代码地址:
https://github.com/iPERDance/iPERCore

论文地址:
https://arxiv.org/pdf/2011.09055.pdf

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

量子位年度智能商业大会启幕,大咖已就位!

12月16日,李开复博士、谭建荣院士、清华唐杰教授,以及来自小米美团百度华为爱奇艺小冰亚信浪潮容联澎思地平线G7等知名AI大厂的大咖嘉宾将齐聚MEET2021大会,期待关注AI的朋友报名参会、共探新形势下智能产业发展之路。

早鸟票限时优惠,扫码锁定席位吧~


量子位 QbitAI · 头条号签约作者


վ'ᴗ' ի 追踪AI技术和产品新动态


一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~


登录查看更多
0

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
专知会员服务
42+阅读 · 2021年4月23日
专知会员服务
32+阅读 · 2021年4月6日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
76+阅读 · 2020年10月13日
【CIKM2020-阿里】在线序列广告的用户隐藏状态推断
专知会员服务
24+阅读 · 2020年9月5日
AI创新者:破解项目绩效的密码
专知会员服务
33+阅读 · 2020年6月21日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
你跳宅舞的样子很专业:不,这都是AI合成的结果
能生成逼真图像的不只有 GAN
机器学习算法与Python学习
8+阅读 · 2019年6月6日
当你的头出现在A片演员的身体上
PingWest品玩
6+阅读 · 2019年1月6日
毫不自夸,甚至有点骄傲——视频检测与拼接
无人机
9+阅读 · 2018年12月25日
Arxiv
19+阅读 · 2020年7月13日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
3+阅读 · 2018年3月21日
VIP会员
相关VIP内容
专知会员服务
42+阅读 · 2021年4月23日
专知会员服务
32+阅读 · 2021年4月6日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
76+阅读 · 2020年10月13日
【CIKM2020-阿里】在线序列广告的用户隐藏状态推断
专知会员服务
24+阅读 · 2020年9月5日
AI创新者:破解项目绩效的密码
专知会员服务
33+阅读 · 2020年6月21日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
相关论文
Arxiv
19+阅读 · 2020年7月13日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
3+阅读 · 2018年3月21日
Top
微信扫码咨询专知VIP会员