看完阿逗比年度炫技大会,我什么都不敢信了

2019 年 11 月 8 日 量子位
栗子 乾明 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

一年一度,阿逗比(Adobe)又来炫技了。

许多魔法,曾经只在论文里出现,没有给麻瓜玩耍的通道,如今都能一键解锁。

比如,一键调整太阳位置,想让它从哪升起,它就从哪升起:

比如,一键把视频里人物的姿势,转移到卡通形象的身上:

不止图像和视频可以修,Adobe还发布了炸裂的纯音频调教技能,加起来一共有11种魔法。

那么一起来看看吧。

加入音轨,画中人一键对口型

看这张梵高自画像,有一丝严肃,又有一丝欲言又止。

让我们来听听他想说什么。

动图版

有声音的视频在这里

Historial paintings in other art work from centuries ago can be animated with just my voice.

仅凭我的声音,就能让几个世纪前的其他艺术作品动起来。

是的,有了这个名叫Sweet Talk的功能,只要加入一段语音,无论是图片、照片,还是经典画作,原本静止的画中人都能自动对上口型,动起来。

不仅是嘴巴动,眼睛鼻子甚至整个头部,都因这一句话而被赋予了自然的动态。

哪怕只是简笔画,也不在话下。

感觉可以突破次元壁,跟二次元老婆直接聊天了呢……

你怎么动,它就怎么动

这是另一项穿破次元壁的技能。

从前,你想按照一段视频去做动画,每一帧都要手动调姿势:


奇怪的部位 (误)

如果视频有10分钟,一分钟60秒,每秒20几帧,那真的太累了。

但现在,Adobe自家研发的AI引擎Adobe Sensei可以帮你把视频里的动作,一口气迁移到动画里去。

只要在一帧里面,把主角圈起来,AI就会标记出全身的18个关键点。然后,整个视频里主角的运动轨迹,AI就都追踪到了:

把这18个关键点的追踪结果,和动画形象身上的部位对应起来,就可以让它瞬间复刻视频里的动作:

不用再一帧一帧修改姿势,可以节省不少时间。

另外,这个技能的用法还有很多,也不一定要把18个点都用到。

比如,只用右手腕上那一个点,就可以把幕布切开,进入下一个场景:

这是一个篮球场,所以当然是让卡通人来打篮球:

但由于研究人员Jimei Yang自觉篮球技能不足,决定拉主持人来垫背 (注意右下角,动作是研究人员做的) :

没投中,生气了,开始燃烧了。背后的火光,也是靠动作追踪来实现的。

对此,主持人表示可以:

素描一键变照片

随手画出一只鸟的轮廓,再配上任意一张真鸟的照片,Image Tango这个功能就能一键生成一只全新的飞鸟。

毫无违和感,就像真实的镜头记录下的照片。不事先说明,谁能想到,世界上其实并不存在这样一只漂亮小鸟呢?

这一功能依赖于Adobe Sensei来实现,并且不仅仅是把纹理填进新的轮廓当中,Image Tango还能创造出更多不同的姿态。

不止可以创造“新物种”,Image Tango说不定还将成为电商福音。

比如,你喜欢这条裙子的剪裁,但又希望它有另一件衣服的花色,就把两件衣服的照片都丢给Image Tango:

感觉可以直接把新衣服丢进购物车了~

神奇字体,iPad动字也变

设计当中,当然少不了花式字体。这一次,Adobe又带来了“拯救设计师”系列。

这些炫酷的字体效果,都只要打开parameters开关,调节几个拉杆,就能轻松实现。

甚至,能借助iPad的加速计和陀螺仪,当iPad晃动起来,字体也跟着摇摆。

iPad动,字也动

创作简单了不止一点点。

照片光线随心变

上午在一个小城旅行,下午就走了,拍不到夕阳西下的样子怎么办?

不要紧,只要把照片发进去,再用滑块调整一下阳光的位置,一整天的样子都可以解锁。

这是调水平方向:

这是在调高度角,中午就在头顶,傍晚就在地平线上:

以我之名,想让太阳从哪里升起,它就从哪里升起。

把太阳的位置调得越来越靠近地平线,建筑物的色彩也越暗淡,获得太阳落山的渐变效果。

所有的影子,都是AI自动生成的。

那么问题来了,要生成逼真的影子,AI必须知道物体的3D形状,只用一张正面图不够吧?

所以,这里用了多个角度的照片,帮算法了解物体的形状。

这样说来,AI不止能修图,修视频才更加得天独厚。不同的帧,就拍下了不同的角度,可以直接拿来用:

调光前

就算是10秒之内拍出的视频,也能做出一天的光线变化了:

调光后

那么,如果去旅行的时候,没有想到要拍那么多角度的照片,怎么办呢?

AI会帮你搜索别人拍过的图像,从那里学到3D形状。

所以,就算你只有早上的一张照片,也能看到黄昏时的小城了:

一键去除背景噪音

有时候,明明感觉在安静的环境里录音,却录到了嘈杂的背景音。

那么,用Sensei自带的Awesomize一键去除吧。轰轰的杂音不见了,清晰的声音娓娓道来,讲起故事更加丝滑了:

这段视频里,还有第二个例子。研究人员Zeyu Jin在一个会议室里面,练习自己的演讲。讲到一半,却发现有人订了房间。

于是,他又去到了一个不那么安静的地方,继续练习。但这样得到了录音,可以听出是在不同的地方录下的。

这时候,依然是用Awesomize一键修整,电话的声音不见了,办公场所劳碌的声音也不见了,就像从来没有离开过安静的会议室。

整个清理过程,完全不用手动标注哪些波形需要去除,都靠AI的自觉。

一键识别删除特定声音

但有些时候,你不想听到的不仅仅只是背景噪音。

讲话时,有的人可能会因为紧张等缘故,呃,说两句就会有个“”。

这是很常见的情况。呃。

如果一场讲话两小时,里面都是“”,啥感觉?

但有了SoundSeek的功能,只需要选中其中一个“呃”的波形,点击分析,AI就会帮你找出全部的“呃” (下图红色波峰) 。再来一键移除:

整段音频里,所有的“呃”都不见了!

下面的视频,详细展示了这项技能的奇效。

在给自己妈妈录生日祝福的时候,旁边讨厌的司机一直摁喇叭,结果整个音频中都是鸣笛声。

同样,只要选择其中一声,就能把所有鸣笛声都干掉。

完美的生日祝福,达成。

快速AR创作

↑↑↑
在视频里加入这样的AR效果,需要几个步骤?

Pronto这个项目,旨在让这件事变得更加简单便捷。

首先,录制一段视频。

Pronto可以在iPad的屏幕里,显示平板的位置移动。

当你在空间里选定一个位置,轻轻一点,就会出现一个画板 (蓝色网格) ,让你在选好的地方画画了。手绘一个“Hi!”,再设置好时间。

只要时间一到,小蛋糕会跟你打招呼,对话气泡就像真实存在在物理空间中一样:


就算不手绘,加入已有的素材,一样没什么问题。如果想要再添加一些动作,比如实现上面那个拉开条幅的效果,在关键帧点击一下左侧的Enact键,设置一下就可以了。

不怕没人帮忙拍合影

节假日和家人一起出去玩,要是没有热心路人帮忙拍照,就总有一个人不能在合影里面。

这个名为AllinSneak的功能,直击这个痛点。

Adobe的工程师小姐姐有个烦恼:和家人一起出去玩,拍照片时自己和丈夫总是不能同框。

怎么办呢?几行代码就能搞定。

基于人工智能的算法能够自动识别相同的场景中,合影中少了谁,就把她抠出来:

接着P到合影中去。

一家人整整齐齐。

不需要人趴在电脑屏幕前,一点点描边抠图,非常简单。

人人都是艺术家

从前,艺术家们操纵光影的技法,普通人类难以企及:

不过现在,有了一只能让每个人都变成艺术家的AI。

第一步,画个长方形做背景,把它放到AI的光影世界里,就会先变成黑色,因为还没加光源。

要让暗黑的背景亮起来,就在前面画个灯箱。灯箱原本是普通的白色长方形,但只要一键让它发光,就能照亮黑暗:

当然,如果只是有光,也会显得有些单调。

那么,我们画一道波浪线吧。一键往波浪线身后加上黑色渐变,线条就会成为一道缝隙,让来自地底黑暗世界的气息,从缝里喷薄而上:

以上,只是最初步的演示,下面来给一幅画加上光影吧。

一只热气球飞在云层里,原本并不知道光从哪边来:

所有的颜色都平铺直叙,这不是我们想要的。

想要明暗变化,就在左边和上边,放两条光源:

左上角比右下角亮了许多。

如果想把光线改个方向,只要移动蓝色线条的位置,就是移动光源了。

有了这些,每个人都可以做出绚烂的设计。

不信的话,来看个一分钟内做完的“毕设”:

中间,是研究人员Jakub Fiser自己的剪影,可以陶醉一整天。

“反向PS”利器,一秒回到P图前

一键识别PS痕迹,还能一键还原P图前是什么样子。

这不是砸自家场子吗?

演示的小哥哥,拿着主持人的照片,现场展示了从P图到识别,再到还原的全过程。

先把眼睛放大:

然后把嘴角上扬,哈哈哈哈:

把P过的图交给AI鉴定,得出结论:100%修过。

不止如此,热力图还可以显示P过哪里:

能够检测P图,已经够让人心累了。更惨烈的是,能够一键回到P图前:

这复原效果,和原图几乎无差。

至于其中具体的原理,我们曾进行过论文解读,传送门在这:

一秒回到P图前:Adobe发布“反向PS”利器,知道你修过哪里,还帮你修回去

看完这些功能,不知道你是啥感觉,反正我们办公室有个小编,嘴里就只剩“卧槽”了。

Adobe说,在不远的将来,这些功能可能会出现在Adobe全家桶里面,可能是作为新增功能,也可能会推出新的产品。

比如去年MAX大会上的这个AI剪片,画面自动跟着主角跑的技术,今年就正式在Pr(Premiere Pro)上登陆了。

所以,你期待吗?

最后,推荐大家去看完整炫技现场视频:
https://bit.ly/32qLGVz

大咖齐聚!量子位MEET大会报名开启

量子位 MEET 2020 智能未来大会启幕,将携手优秀AI企业、杰出科研人员呈现一场高质量行业峰会!VIP票即将售罄,快扫码报名吧~

榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !



登录查看更多
0

相关内容

简单的说,就是说某个人很逗,有点犯二犯傻,有点可爱。
少标签数据学习,54页ppt
专知会员服务
198+阅读 · 2020年5月22日
【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
30+阅读 · 2020年3月26日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
100+阅读 · 2020年3月9日
用AI实现动画角色的姿势迁移,Adobe等提出新型「木偶动画」
机器学习算法与Python学习
7+阅读 · 2019年10月13日
从十篇热门学术论文看计算机视觉的未来
计算机视觉life
6+阅读 · 2019年9月11日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
Python除了不会生孩子,什么都会
算法与数学之美
3+阅读 · 2017年11月8日
AI都干过什么让人细思极恐的事?
全球创新论坛
4+阅读 · 2017年9月15日
走进丹棱街5号 | 是什么吸引了50多位技术大牛走进微软?
Arxiv
3+阅读 · 2018年10月25日
Phrase-Based & Neural Unsupervised Machine Translation
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
9+阅读 · 2018年5月7日
Arxiv
3+阅读 · 2018年3月14日
Arxiv
6+阅读 · 2018年2月26日
Arxiv
4+阅读 · 2018年1月29日
Arxiv
5+阅读 · 2016年10月24日
VIP会员
相关资讯
用AI实现动画角色的姿势迁移,Adobe等提出新型「木偶动画」
机器学习算法与Python学习
7+阅读 · 2019年10月13日
从十篇热门学术论文看计算机视觉的未来
计算机视觉life
6+阅读 · 2019年9月11日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
Python除了不会生孩子,什么都会
算法与数学之美
3+阅读 · 2017年11月8日
AI都干过什么让人细思极恐的事?
全球创新论坛
4+阅读 · 2017年9月15日
走进丹棱街5号 | 是什么吸引了50多位技术大牛走进微软?
相关论文
Arxiv
3+阅读 · 2018年10月25日
Phrase-Based & Neural Unsupervised Machine Translation
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
9+阅读 · 2018年5月7日
Arxiv
3+阅读 · 2018年3月14日
Arxiv
6+阅读 · 2018年2月26日
Arxiv
4+阅读 · 2018年1月29日
Arxiv
5+阅读 · 2016年10月24日
Top
微信扫码咨询专知VIP会员