近年来,元宇宙已经在影视作品中充分激发了我们对未来的想象力,从《头号玩家》到《失控玩家》,我们真实的感受到了虚拟人所带来的神奇魅力。要提供虚实交融的卓越体验,重点是根据真实世界的形象或场景需求生成栩栩如生的虚拟人物。那么,我们要如何感受到元宇宙级别的虚拟人物体验呢?
****虚拟人制作有多难?算力成为门槛
在当前的技术环境下,虚拟人制作已经相对成熟,通常包括建模、动作/表情绑定、动画内容制作、渲染等程序,将物理世界的人物行为投射到虚拟世界中。但是,要实现虚拟人的实时交互,难度就超过很多人的想象了。
这一难度首先体现在超写实虚拟人的真实感渲染,超写实虚拟人的建模精细程度、建模材质、纹理,对光照的模拟及真实感的物理渲染,会耗费巨大的算力与漫长的时间。在电影中,虚拟人物的特效渲染通常采用离线渲染的模式,即使有着专业的图形工作站集群,其渲染周期往往也需要3-6个月。以《阿丽塔:战斗天使》为例,其中阿丽塔高度拟真的视觉特效令人震撼,这样以假乱真的渲染效果来源于巨大的算力消耗。据统计,《阿丽塔:战斗天使》平均每一帧需要100小时来渲染,总计用了4.32亿个小时的渲染时间。
另外,虚拟人的高逼真形象,需要更多的细节来展示,如面部、肢体、毛发、布料、眼睛、口腔等的制作需要多种软件对相机扫描得到的模型进行精修和调整,并形成统一模型,而这个创建过程中需要不同的3D软件,软件之间的格式兼容过程中会遇到很多问题。
这还仅仅是一个虚拟人创建的难题,在未来的元宇宙世界中,现实中的每一个人都会有虚拟人需求,虚拟人从2D到写实再到超写实的过程中,对算力的需求也越来越大,在多虚拟人创建过程中,需要更大的算力支持。 浪潮信息联手NVIDIA让虚拟人创作变简单
为满足元宇宙世界虚拟人创建的需求,浪潮信息与NVIDIA强强联手,基于业内首款元宇宙服务器 MetaEngine和NVIDIA Omniverse Enterprise开发套装推出了具备统一多软件格式、支持多人协作、支持实时驱动和实时光线追踪渲染的虚拟人解决方案,让虚拟人内容制作由难变易。
在硬件上,MetaEngine采用浪潮信息领先的异构加速服务器旗舰系统,集成NVIDIA A40专业GPU、CX6 Dx高速网卡等硬件,具有强大的RDMA通信和数据存储能力,支持强大的渲染和AI计算能力,可帮助用户构建一个端到端、生态丰富和高易用的协作平台。单台MetaEngine可支持256位元宇宙架构师协同创作,每秒AIGC 2000个数字场景,1000位VR/AR用户共享10K超高清3D数字世界顺畅体验,实现“创所未见”的效果。
在软件方面,NVIDIA Omniverse Enterprise提供了3D实时模拟和协作的工具及平台。3D建模软件,如MAYA、3ds MAX、Unreal Engine等,团队成员可以实时在线编辑虚拟人模型,改变传统的串行协作流程,极大提高工作效率。作为专为虚拟协作和物理属性准确的实时模拟打造的开放式平台,结合了高性能 GPU 加速计算、图形处理和 AI 并配备了高速存储访问、低延迟网络、精确计时,具备创建逼真数字孪生所需的性能。
同时,浪潮MetaEngine- NVIDIA OVX方案提供的Audio2face、Machinima等软件,用AI算法轻松驱动虚拟数字人,可实现实时的视频音频驱动人脸表情及肢体动作,真正做到“所动即所见”。而为了获得科幻大片级的逼真光影效果,方案集成Tensor core/RT core的算力,配合渲染、实时光追、AI降噪SDKs,实现实时光线追踪渲染。
MetaEngine还整合了浪潮“源”大模型的能力,浪潮“源”大模型具备2457亿参数,具备知识问答、多轮对话、中英翻译、写作古诗等零样本或少样本的推理能力,可以让虚拟人不仅拥有逼真的外观,还可以像人类一样进行自然语言交互。而对于浪潮“源”需要多GPU计算设备协同工作的问题,将通过浪潮AIStation智能业务创新生产平台实现多计算资源的智能调度管理,保证模型服务的高吞吐、低延迟。所见即所得 MetaEngine-OVX****的“点泥成人”术
那么,如何通过浪潮MetaEngine - NVIDIA OVX方案加速虚拟人的创建,打造“所见即所得”的元宇宙世界呢?
首先,设计师可以借助MetaEngine所集成的NVIDIA Omniverse Enterprise,搭建统一协作空间。设计师可以根据人物特征与场景需求建立虚拟人模型,并进行贴图、渲染,依托MetaEngine强大的算力生成栩栩如生的模型,或者可以直接通过Omniverse下载自己想要的虚拟人形象。
要做到虚拟人与真实世界的交互,仅有虚拟形象还不够,还需要让虚拟形象进行生动形象的展示,这包括对其面部表情、肢体动作的完美驱动,对场景及虚拟形象进行实时渲染,让静止的虚拟人“动”起来。
MetaEngine与NVIDIA Omniverse Enterprise的强大组合支持虚拟人快速创建,通过导入场景和使用machinima 3D Pose Track实时驱动的数字人骨骼点信息,将骨骼点动作重定向到数字人资产,快速创建虚拟人动画,创建3D内容。
浪潮AIStation智能业务创新生产平台部署管理浪潮 源及语音模型,结合浪潮MetaEngine-NVIDIA OVX方案的Audio2face功能,可以实时将浪潮“源”的推理结果,转化为语音,语音驱动数字人面部产生逼真的表情及面部动作,让对话及交互更加真实、自然。
MetaEngine将高性能图形计算、AI计算与高速存储访问、低延迟网络和精确计时相结合,专用于为大规模数字创景制作提供算力和应用支持,以实时创建和运行复杂的3D场景和逼真的物理仿真环境,让基于物理的高逼真实时渲染成为可能,满足元宇宙的互动需求。
7月27日,浪潮信息将联合NVIDIA共同揭秘如何使用联合方案制作虚拟人的过程,欢迎大家关注。