开启AI新想象，全球首个“AI合成主播”在新华社上岗

来源:新华社，快科技

11月7日，在第五届世界互联网大会上，新华社又有“大动作”！在建社87周年之际，新华社联合搜狗发布全球首个合成新闻主播——“AI合成主播”，运用最新人工智能技术，“克隆”出与真人主播拥有同样播报能力的“分身”。这不仅在全球AI合成领域实现了技术创新和突破，更是在新闻领域开创了实时音视频与AI真人形象合成的先河。

“AI合成主播”是什么？

此次“AI合成主播”亮相，可以让网民感受到新华社“新员工”的业务能力，不仅中文“AI合成主播”实力“上岗”，同时还有以“联接中外、沟通世界”为使命的英文“AI合成主播”。

据介绍，“AI合成主播”是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征，运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。该项技术能够将所输入的中英文文本自动生成相应内容的视频，并确保视频中音频和表情、唇动保持自然一致，展现与真人主播无异的信息传达效果。

从主播“真人”到“分身”，“AI合成主播”可谓是经历了“九九八十一关”，有了多项人工智能前沿技术的“加持”，才走到了今天。

在合成主播的开发过程中，搜狗公司的相关技术人员同新华社的新闻主播一同进行了各种探索尝试，在“搜狗分身”技术的支持下，通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项前沿技术，并结合语音、图像等多模态信息进行联合建模训练后，“AI合成主播”正式诞生。

什么是“搜狗分身”技术？

随着“AI合成主播”的发布，搜狗人工智能的核心技术“搜狗分身”也终于浮出水面，成为大会开幕日的最大亮点之一。

据了解，“搜狗分身”技术可以让机器以更逼真自然的形象呈现在用户面前，而不是冷冰冰的“机器人”。

该技术能通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项前沿技术，并结合语音、图像等多模态信息进行联合建模训练后，生成与真人无异的AI分身模型。这项技术让机器首次做到逼真的模拟人类说话时的声音、嘴唇动作和表情，并且将三者自然匹配，与真人几乎一致。

以“AI合成主播”为例，用户只需要输入新闻文本，AI合成主播就能用和真人一样的声音进行播报，而在播报的过程中唇形、面部表情等也能与真人主播完全吻合，效果惟妙惟肖。

除此之外，“搜狗分身”技术还能仅靠少量用户真实音视频数据，即可快速定制出高逼真度的分身模型，显著降低了个性化定制成本，进而帮助人类提高信息表达和传递的效率。

“AI合成主播”有何用？

从发布的这一刻起，“AI合成主播”正式成为新华社报道队伍中一员，TA将同其他主播一起，为你带来权威、及时、准确的中英文新闻资讯。

新华社副社长、党组成员刘思扬致辞。新华社记者 黄宗治 摄

与“真人”主播不同的是，“AI合成主播”竟然开了“外挂”！“真人”主播一天工作8小时，但“分身”能够不知疲倦地工作24小时！只要小编们将文本输入系统，TA们就能随时工作，并且一直工作下去……

无论是在日常报道中提升电视新闻的制作效率，降低制作成本，还是在突发报道中快速生成新闻视频，提高报道时效和质量，“AI合成主播”在不同的新闻场景运用中都拥有着不可限量的未来。

搜狗公司CEO王小川在发布会上致辞。新华社记者 黄宗治 摄

“AI合成主播”在哪儿上线？

“AI合成主播”已经准备就绪跃跃欲试了！即日起，登录新华社中英文客户端、新华社微信公众号、中国新华新闻电视网（CNC）、新华视点微博、新华社中国网事微博、新华社“微悦读”小程序，你都会看到“AI合成主播”的身影，TA将时刻陪伴你左右，为你带来全新的新闻体验。