端到端音视频说话人日志网络，一作解读INTERSPEECH 2022论文

SH Symposium Series on Speech (SH SSS 2022) 

SH SSS 是由语音之家打造的AI语音技术相关的前沿论文成果分享平台。 

来自AI语音技术领域的优秀论文作者、专家学者，用最精炼的表达来解读最新的高质量论文。

分享的论文成果来自国内外顶级会议收录的优秀文章、前沿学术报告。

主题

Tittle

端到端音视频说话人日志网络

时间

Time

2022年11月8日 19:00 - 19:45

嘉宾

Author

何茂奎：中国科学技术大学语音及语言信息处理国家工程研究中心博士生，主要研究方向为纯音频及音视频说话人日志。合作文章曾发表于INTERSPEECH、ICASSP等语音领域会议。

概述

Abstract

本文提出了一种基于端到端神经网络的音视频说话人日志方法。该音视频模型采用音频特征（例如 FBANK）、多说话人唇型（ROI）和多说话人 i-vector向量作为多模态输入。同时输出多个说话人的帧级语音/非语音概率。通过精心设计的端到端结构，所提出的方法可以很好处理重叠语音问题，并通过多模态信息准确地区分语音和非语音。i-vector是解决由视觉模态错误（例如唇部遮挡或检测不可靠）引起的音视频同步问题的关键点。该音视频模型对视觉模态缺失同样具有鲁棒性。我们在MISP数据集上进行了评估，所提出的方法在的开发/测试集上实现了10.1%/9.5%的分类错误率 (DER)，而纯音频和纯视频系统的 DER 分别为27.9%/29.0%和14.6%/13.1%。

题 目 Tittle

中文：端到端音视频说话人日志网络

英文：End-to-End Audio-Visual Neural Speaker Diarization

收录会议 source title

INTERSPEECH 2022

作 者 Authors

何茂奎，杜俊，李锦辉

论文地址 Url

https://www.isca-speech.org/archive/pdfs/interspeech_2022/he22c_interspeech.pdf

论文代码 Code

https://mispchallenge.github.io/mispchallenge2022

议程

Program Overview

时间	主题	嘉宾
19:00-19:30	端到端音视频说话人日志网络	何茂奎
19:30-19:45	Q&A

参与方式

Joining

直播将通过语音之家微信视频号进行直播

手机端、PC端可同步观看

活动奖品

11月8日在直播间，为大家准备3件 SpeechHome 主题T恤，观看直播互动即可抽取。

扫码添加小管家进讨论群

👇👇👇

投稿

Call For Papers

在语音领域，您的文章内容具有技术创意性、重要性、论文解读清晰均可投稿！

投稿方式

Contact us

投稿邮箱

jack@speechhome.com

联系人微信

戳“阅读原文”了解《Kaldi语音识别理论与实践》详细内容及报名通道

永久福利 直投简历

简历投递：join@speechhome.com

VjoinU 内推助力，leader直收简历

扫码关注我们

助力AI语音开发者的社区