新智元报道
编辑:桃子 好困
「目前,公司正在配合开展相关前期工作,承诺事项的履行尚在进行中…….」
12月17日,「每日经济新闻」的主播N小黑正口若悬河地播报当日资讯,大家捧着手机兴致勃勃地看着,没人发现——这个主播是「假」的。
他是全球首个做到和真人原型真假莫辨的数字孪生人N小黑。
而且,不止N小黑一个人是虚拟的,他还有个数字孪生人搭档:N小白。
更令人诧异的是,其实这两人已经合作连续直播新闻70天,但几乎没有粉丝和用户看出来。
大概是因为他们的面容、表情、肢体动作等,都太真实和自然了。
只是有不少人偶尔也疑惑:「这俩主播也太敬业了,天天都上班?」
首批真假难辨的数字孪生主播来了
直到12月20日,答案才正式揭晓。
N小黑播完财经资讯后,自己公布了真相:
「大家好,我是每日经济新闻的人工智能主播,我不是本人,而是他的数字孪生。我已经悄悄上线,不间断运行了70天。许多人以为,这是由人类主播提前录制好的视频,其实并不是。所有你看到的,包括我讲述的文本,都由人工智能小冰框架生成和驱动。」
此时,他依然吐词清晰自然,还加着手势和微表情,和他真人在抖音号“N小黑财经”的状态别无二致。
他们背后的「制造者」小冰公司,也正式宣布:基于小冰深度神经网络渲染(X Neural Rendering)的全新数字孪生虚拟人来了。
这是他们首次将人工智能虚拟人类的整体自然度,提升到和真实人类几乎无法分辨的程度。
小冰和每日经济新闻联合打造的数字孪生主播N小黑和N小白,也在当日与「每经AI电视」一同全网上线。
值得一提的是,小冰公司还首次实现了视频采编播全流程的无人化操作。
基于此进步,「每经AI电视」也成为了全球首个7x24小时不间断播出的AI视频直播产品。
不过网友们也是见多识广,质疑自然也不会少。
比如,AI主播已经见怪不怪了,新华社、央视都做过,这两个新的「虚拟主播」又有什么特别之处?
新的技术,到底带来了哪些进步?又是如何做到的?对我们未来有什么改变?
接下来,我们进一步来说说。
数字孪生主播,带来什么新技术?
先简单说一下,这两个「虚拟主播」诞生的过程。
首先,两位虚拟主播的训练数据,是来自知名财经主播N小黑(N小黑财经)和N小白(每经小白基金)。
接着,再结合小冰深度神经网络渲染技术(Xiaoice Neural Rendering, XNR),使得包括面容、表情、肢体动作等在内的整体自然度,可以大幅度提升。
最后,通过小冰框架小样本学习技术,只需要一周的训练周期,这两个数字孪生人,就诞生了。
听起来很轻松?
事实上,单从训练周期来说, 过去虚拟人的训练周期就要数月,这也造成了虚拟人周期长、成本高的难题。但虚拟人再次成为全球热点后,这个问题总得有人去解决。
学术界和工业界早已开始行动。今年11月的《中国计算机学会通讯》封面专题就是“计算机图形学与人工智能融合”,用6篇专业文章讨论了CG和AI从技术到应用的广泛融合,并希望将计算机视觉、自然语言处理、计算机语音和深度学习方法引入到CG,希望将人力驱动转变为数据驱动,将手动算法升级为基于数据分析的自动算法,整体提升系统易用性和效率。
具体到数字孪生人N小黑和N小白,就意味着一个困扰娱乐和媒体产业的长期问题——也就是「如何高效逼真地渲染虚拟人」——或许有了新解法。不怕暴露年纪的网友,应该都还记得16年前的《最终幻想7:圣子降临》的勇敢尝试,以及惊呼《阿凡达》的逆天细节——这都是十多年前的事情了,那时影视工业制作虚拟人的时间周期和成本是以年和百万美元(还只是主角的头发渲染)为单位的。
为何小冰能以深度神经网络渲染技术(XNR)与CG融合后解决这一问题?一方面,相较于传统CG,这项技术可以充分利用深度学习,从大量数据中提取数据先验,实现传统渲染流程中,某些模块的加速和轻量化。
简单来说,就是渲得更快。
另一方面,基于深度学习的三维场景表达和对应的神经渲染管线,可以在特定场景中发挥作用,让虚拟人的视觉形象、表情、肢体动作更加逼真。
简单来说,就是渲得更好。
解决了这个问题,这项技术就能创造极大的商业价值。
不过只用CG和AI融合造人还是不够的,虚拟人如何呈现,呈现什么内容,对普罗大众来说,才是最重要的。
而 N小黑、N小白和其它虚拟主播最大的不同也在于——
他们不仅形象是AI建模生成的,从金融资讯的文本生成,到通过预训练的虚拟主播实现音画同步播报,再结合同步场景动态绘制,最终生成完整的直播推流,全部都是由 AI 完成,不需要任何人来参与。
这也在全球范围内,首次真正实现了自动化的AI采编播全流程。
对此,在小冰公司CEO李笛看来,「一个永不疲倦、安全可靠、稳定输出的AI Being时代已经到来。」
N小黑和N小白,预示着怎样的未来?
现在,我们已经对虚拟人越来越不陌生了。
他们背后虚拟数字技术的进程,是飞快的。
在形象拟人度上,前有洛天依、泠鸢掀起了二次元虚拟人的热潮,现在翎_Ling、Ayayi、阿喜这些超写实虚拟偶像也越来越火,再往后看,数字孪生的未来也离我们越来越近了。
从黄仁勋在英伟达发布会上「骗」过众人,到小冰最新的N小黑N小白,都看得出,各类虚拟人在追求「真实自然之路」上越走越广了。
在真实自然之路上,还有更大的拦路虎,比如虚拟人的内容、交互、多样性等。
传统上,行业通常以CG 和动捕的组合来打造虚拟人,完全依赖人力,周期长、成本高且不说,关键是没内容、没交互、人设固定。
从这一点上来看,N小黑和N小白正通过小冰的人工智能技术,打造出了CG和人工智能融合后的框架全能力图景。
比如,从内容和交互方式上来看,传统的虚拟人要不就是只有平面硬照(换脸),或者文字(人工运营),加上中之人之后,才会说话、唱歌、交互。
而已经能在视觉、声音、文字上都自由表达的数字孪生N小黑和N小白,也预示着虚拟人的交互即将实现多模态——还记得两年前带着大家逛日本水族馆的Rinna吧?
可以说,N小黑和N小白这两个数字孪生人的出现,有望开启虚拟人在各个场景普及的新未来。小冰团队也说,近期即将推出更多的虚拟人,从官宣物料看,作品正在迪拜世博会中国馆参展的夏语冰,也即将营业?