难以置信!小冰数字孪生虚拟人直播70天,没人发现不是真人

2021 年 12 月 20 日 新智元



  新智元报道  

编辑:桃子 好困

【新智元导读】每日经济新闻直播70天,没人发现主播是数字孪生虚拟人?全球首个做到和真人本尊真假莫辨的数字孪生人N小黑和N小白来了。新的数字革命演进,正越来越触手可及。


「目前,公司正在配合开展相关前期工作,承诺事项的履行尚在进行中…….」

 

12月17日,「每日经济新闻」的主播N小黑正口若悬河地播报当日资讯,大家捧着手机兴致勃勃地看着,没人发现——这个主播是「假」的

 


他是全球首个做到和真人原型真假莫辨的数字孪生人N小黑。

 

而且,不止N小黑一个人是虚拟的,他还有个数字孪生人搭档:N小白。

 

更令人诧异的是,其实这两人已经合作连续直播新闻70天,但几乎没有粉丝和用户看出来。

 

大概是因为他们的面容、表情、肢体动作等,都太真实和自然了。

 

只是有不少人偶尔也疑惑:「这俩主播也太敬业了,天天都上班?」


首批真假难辨的数字孪生主播来了


直到12月20日,答案才正式揭晓。

 

N小黑播完财经资讯后,自己公布了真相:

 

「大家好,我是每日经济新闻的人工智能主播,我不是本人,而是他的数字孪生。我已经悄悄上线,不间断运行了70天。许多人以为,这是由人类主播提前录制好的视频,其实并不是。所有你看到的,包括我讲述的文本,都由人工智能小冰框架生成和驱动。」

 

 

此时,他依然吐词清晰自然,还加着手势和微表情,和他真人在抖音号“N小黑财经”的状态别无二致。

 

他们背后的「制造者」小冰公司,也正式宣布:基于小冰深度神经网络渲染(X Neural Rendering)的全新数字孪生虚拟人来了

 

这是他们首次将人工智能虚拟人类的整体自然度,提升到和真实人类几乎无法分辨的程度。

 

小冰和每日经济新闻联合打造的数字孪生主播N小黑和N小白,也在当日与「每经AI电视」一同全网上线。

 

值得一提的是,小冰公司还首次实现了视频采编播全流程的无人化操作。

 

基于此进步,「每经AI电视」也成为了全球首个7x24小时不间断播出的AI视频直播产品。

 

不过网友们也是见多识广,质疑自然也不会少。

 

比如,AI主播已经见怪不怪了,新华社、央视都做过,这两个新的「虚拟主播」又有什么特别之处?

 

新的技术,到底带来了哪些进步?又是如何做到的?对我们未来有什么改变?

 

接下来,我们进一步来说说。


数字孪生主播,带来什么新技术?

 

先简单说一下,这两个「虚拟主播」诞生的过程。

 

首先,两位虚拟主播的训练数据,是来自知名财经主播N小黑(N小黑财经)和N小白(每经小白基金)。

 

接着,再结合小冰深度神经网络渲染技术(Xiaoice Neural Rendering, XNR),使得包括面容、表情、肢体动作等在内的整体自然度,可以大幅度提升。

 

最后,通过小冰框架小样本学习技术,只需要一周的训练周期,这两个数字孪生人,就诞生了。

 

听起来很轻松?

 

事实上,单从训练周期来说, 过去虚拟人的训练周期就要数月,这也造成了虚拟人周期长、成本高的难题。但虚拟人再次成为全球热点后,这个问题总得有人去解决。

 

学术界和工业界早已开始行动。今年11月的《中国计算机学会通讯》封面专题就是“计算机图形学与人工智能融合”,用6篇专业文章讨论了CG和AI从技术到应用的广泛融合,并希望将计算机视觉、自然语言处理、计算机语音和深度学习方法引入到CG,希望将人力驱动转变为数据驱动,将手动算法升级为基于数据分析的自动算法,整体提升系统易用性和效率。


 

具体到数字孪生人N小黑和N小白,就意味着一个困扰娱乐和媒体产业的长期问题——也就是「如何高效逼真地渲染虚拟人」——或许有了新解法。不怕暴露年纪的网友,应该都还记得16年前的《最终幻想7:圣子降临》的勇敢尝试,以及惊呼《阿凡达》的逆天细节——这都是十多年前的事情了,那时影视工业制作虚拟人的时间周期和成本是以年和百万美元(还只是主角的头发渲染)为单位的。

 


为何小冰能以深度神经网络渲染技术(XNR)与CG融合后解决这一问题?一方面,相较于传统CG,这项技术可以充分利用深度学习,从大量数据中提取数据先验,实现传统渲染流程中,某些模块的加速和轻量化。

 

简单来说,就是渲得更快

 

另一方面,基于深度学习的三维场景表达和对应的神经渲染管线,可以在特定场景中发挥作用,让虚拟人的视觉形象、表情、肢体动作更加逼真。

 

简单来说,就是渲得更好

 

解决了这个问题,这项技术就能创造极大的商业价值。

 

不过只用CG和AI融合造人还是不够的,虚拟人如何呈现,呈现什么内容,对普罗大众来说,才是最重要的。

 

而 N小黑、N小白和其它虚拟主播最大的不同也在于——

 

他们不仅形象是AI建模生成的,从金融资讯的文本生成,到通过预训练的虚拟主播实现音画同步播报,再结合同步场景动态绘制,最终生成完整的直播推流,全部都是由 AI 完成,不需要任何人来参与。

 

这也在全球范围内,首次真正实现了自动化的AI采编播全流程。

 

对此,在小冰公司CEO李笛看来,「一个永不疲倦、安全可靠、稳定输出的AI Being时代已经到来。


N小黑和N小白,预示着怎样的未来?

 

现在,我们已经对虚拟人越来越不陌生了。

 

他们背后虚拟数字技术的进程,是飞快的。

 

在形象拟人度上,前有洛天依、泠鸢掀起了二次元虚拟人的热潮,现在翎_Ling、Ayayi、阿喜这些超写实虚拟偶像也越来越火,再往后看,数字孪生的未来也离我们越来越近了。

 

从黄仁勋在英伟达发布会上「骗」过众人,到小冰最新的N小黑N小白,都看得出,各类虚拟人在追求「真实自然之路」上越走越广了。

 

在真实自然之路上,还有更大的拦路虎,比如虚拟人的内容、交互、多样性等。

 

传统上,行业通常以CG 和动捕的组合来打造虚拟人,完全依赖人力,周期长、成本高且不说,关键是没内容、没交互、人设固定。

 

从这一点上来看,N小黑和N小白正通过小冰的人工智能技术,打造出了CG和人工智能融合后的框架全能力图景。

 

比如,从内容和交互方式上来看,传统的虚拟人要不就是只有平面硬照(换脸),或者文字(人工运营),加上中之人之后,才会说话、唱歌、交互。

 

而已经能在视觉、声音、文字上都自由表达的数字孪生N小黑和N小白,也预示着虚拟人的交互即将实现多模态——还记得两年前带着大家逛日本水族馆的Rinna吧?

 

 

可以说,N小黑和N小白这两个数字孪生人的出现,有望开启虚拟人在各个场景普及的新未来。小冰团队也说,近期即将推出更多的虚拟人,从官宣物料看,作品正在迪拜世博会中国馆参展的夏语冰,也即将营业?




登录查看更多
0

相关内容

数字孪生是一个虚拟模型,用于准确地反映物理对象。 所研究的对象(例如风力涡轮)会配备各种与重要功能领域相关的传感器。 这些传感器产生与物理对象不同方面的性能相关的数据,如能量输出、温度、天气条件等等。 然后,这些数据将转发到处理系统并应用于数字副本。
工业设备数字孪生白皮书 附下载
专知会员服务
129+阅读 · 2022年4月6日
中银国际《虚拟人行业研究》报告,40页pdf
专知会员服务
53+阅读 · 2022年3月18日
虚拟数字人发展白皮书,37页pdf
专知会员服务
153+阅读 · 2022年2月16日
城市数字孪生标准化白皮书(2022版)
专知会员服务
174+阅读 · 2022年1月12日
元宇宙专题深度,63页ppt
专知会员服务
217+阅读 · 2021年11月22日
专知会员服务
146+阅读 · 2021年8月7日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
24小时无休的虚拟人,打工在冬奥
创业邦杂志
0+阅读 · 2022年2月8日
连续直播70天,竟无人察觉这是个虚拟人
机器之心
0+阅读 · 2021年12月23日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
24+阅读 · 2021年6月25日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
VIP会员
相关VIP内容
工业设备数字孪生白皮书 附下载
专知会员服务
129+阅读 · 2022年4月6日
中银国际《虚拟人行业研究》报告,40页pdf
专知会员服务
53+阅读 · 2022年3月18日
虚拟数字人发展白皮书,37页pdf
专知会员服务
153+阅读 · 2022年2月16日
城市数字孪生标准化白皮书(2022版)
专知会员服务
174+阅读 · 2022年1月12日
元宇宙专题深度,63页ppt
专知会员服务
217+阅读 · 2021年11月22日
专知会员服务
146+阅读 · 2021年8月7日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员