“冬奥手语播报数字人”助力北京冬奥会

2022年北京冬奥会即将开启，这不仅是一场全世界奥运健儿与嘉宾欢聚的盛会，也将是一场科技赋能的“智慧”盛会。

人工智能技术发展和应用日新月异，正成为推动人类进入智能时代的决定性力量。超大规模智能模型作为推动AI科研从特定场景的单一模型向多场景共用模型范式变革的关键技术，2021年持续成为国际AI前沿研究和应用的热点。同时，随着新时代消费者对虚拟化内容与服务的需求不断增长，以及元宇宙概念的全球兴起，虚拟现实和人工智能技术也已成为全球关注的焦点。

根据全国第二次残疾人抽样调查数据，中国有超过 2700 万名残疾性听力障碍人士。本次冬奥会是中国历史上首次举办冬奥会，听障人群也期待着深入了解比赛资讯，全面感受这场精彩卓越的奥运盛会。

近期，有一项基于这两个新技术的新服务即将亮相北京冬奥会，那就是采用我国首个超大规模智能信息模型和虚拟数字人技术，为听障人士打造的“冬奥手语播报数字人”。

 

据了解，本次亮相北京卫视的“冬奥手语播报数字人”由北京市科委科技冬奥专班委托，智谱AI、凌云光和北京广播电视台联合打造，还得到了北京市残疾人联合会和市残联聋人协会的大力支持。系统以超大规模预训练模型为核心技术，自主搭建多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现冬奥期间赛事新闻的实时专业手语翻译播报。

构建国内最大规模多模态手语语料库

据悉，《国家通用手语常用词表》和《国家通用盲文方案》于2018年作为语言文字规范正式发布。为了推广和普及国家通用手语，“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度，更好地服务听障人群。

由于当前国内缺少较完善的手语语料数据，研发人员在北京市残疾人联合会和市残联聋人协会的支持下，邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导，并进行大范围听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。

打造手语播报“智能数字脑”

为构建能够理解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音实时蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行实时手语播报驱动。                                                                                                                 

冬奥手语播报数字人

数字人实现高自然度手语动作姿态生成

为实现高精度、高自然度的人物形象和手语动作姿态，研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行自然、流畅的实时驱动和渲染，实现对文本内容的实时手语播报。其中，通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。

多模态动作捕捉数据采集现场

应用前景广阔，让科技更有温度

手语播报数字人的应用场景广泛，一方面可以为新闻媒体提供全流程智能化的数字人手语生成服务，方便听障人士快速了解新闻简讯；另一方面可将声音广播内容转化为手语，为听障人士播报冬奥会赛事赛情、赛场成绩，便于获取即时信息。

“冬奥手语播报数字人”即将在北京冬奥会期间正式投入应用，不仅能为听障人士提供手语信息播报服务，降低冬奥运营成本，还便捷了听障人士收看赛事专题报道，提升他们的社会参与度和幸福感。此外，中国地方手语不统一，手语播报数字人的推广可加速国家通用手语推广落地，推动国家通用手语标准普及，为残疾人平等参与社会生活创造无障碍环境，让科技更有温度。更重要的是，它体现了北京这座城市对残疾人群体的尊重，实现了科技和人文的完美结合，也是落实习总书记讲话精神的具体行动。

智谱AI CTO张鹏表示：“冬奥手语播报数字人的应用展现了公司‘让机器像人一样思考’的愿景。不仅使听障人士能快捷获取冬奥赛事资讯，还将无障碍环境理念传递到数亿人群。智谱AI将持续深化数据和知识双轮驱动的战略，打造强大而通用的人工智能系统，通过创新助力我国人工智能生态建设，让技术创造更多价值。”

 

关于智谱AI

智谱AI作为国家高新技术企业，依托清华大学团队在知识智能方面十余年的技术积累，汇聚了一群有激情的 AI 有志之士，致力于打造数据与知识双轮驱动的下一代人工智能系统，实现“让机器像人一样思考”的愿景，引领第三代人工智能的浪潮。

智谱AI参与研发了超大规模预训练模型“悟道”，构建了高精度通用知识图谱，开发出中国最大的科技情报分析和挖掘平台AMiner，让人工智能理解科学、预测科技发展趋势和人才的成长。基于“数据”与“知识”双轮驱动的虚拟数字大脑，结合人工智能技术和人类的认知模式，智谱AI有机融合大规模预训练模型和知识图谱，使虚拟数字人能够永不停息地学习、推理和抽象，研发应用包括科普数字人小科、冬奥手语播报数字人等。相关技术获国家科技进步二等奖、北京市专利一等奖、中国人工智能学会科技进步一等奖，产品线覆盖科技创新、金融、安全、教育、生活等领域，持续赋能产业生态。