生成式对抗网络GAN在语音自然语言处理中的应用，台大李宏毅老师

来源：专知

【导读】InterSpeech 是语音处理领域的顶级会议，于9月15日-- 9月20日在奥地利格拉茨召开，国立台湾大学李宏毅老师在会上作了题为“Generative Adversarial Network and its Application to Speech Processing and Natural Learuage Processing”的报告，本文整理了报告的主要内容，并分享了报告PPT。

内容简介

生成对抗网络（GAN）是训练模型的新思想，生成器和鉴别器相互对抗以提高生成质量。最近，GAN在图像生成方面取得了惊人的成果，并在此基础上迸发发了大量新的思想，技术和应用。虽然只有少数成功的案例，但GAN在文本和语音领域具有很大的潜力，以克服传统方法的局限性。

本教程分为三个部分。在第一部分中，我们将介绍生成对抗网络（GAN）并提供有关此技术的全面介绍。在第二部分中，我们将重点介绍GAN在语音信号处理中的应用，包括语音增强，语音转换，语音合成，以及域对抗训练在说话人识别和唇读等方面的应用。在第三部分中，我们将描述GAN生成句子的主要挑战，并回顾一系列应对挑战的方法。同时，我们将提出使用GAN实现文本样式转换，机器翻译和抽象摘要的算法，而无需配对数据。

讲者简介

李宏毅教授分别于2010年和2012年在国立台湾大学获得了硕士与博士学位。2012年9月至2013年8月，他是中国科学院信息技术创新研究中心的博士后。2013年9月至2014年7月，他是麻省理工学院计算机科学与人工智能实验室（CSAIL）语言系统组的访问科学家。现任国立台湾大学电气工程系助理教授，并任职于该大学计算机科学与信息工程系。他的研究重点是机器学习（尤其是深度学习），口语理解和语音识别。

曹昱副研究员分别于1999年和2001年获得台湾大学电子工程学士学位和硕士学位。他于2008年获得佐治亚理工学院电气与计算机工程博士学位. 2009至2011年，曹博士是日本国家信息与通信技术研究所（NICT）的研究员，从事自动语音研究和产品开发，识别多语言语音到语音翻译。目前，他是台湾台北中央研究院信息技术创新研究中心（CITI）的副研究员。他于2017年获得了中央研究院职业发展奖。曹博士的研究兴趣包括语音和说话人识别，声学和语言建模，音频编码和生物信号处理。

目录

GAN的基本思想及一些基础的理论知识

- GAN的三种类别

- GAN的基本理论

- 一些有用的技巧

- 如何评估GAN

- 与强化学习的关系

GAN在语音方面的应用

- 语音信号生成

- 语音信号识别

- 结论

GAN在自然语言处理方面的应用

- GAN序列生成

- 无监督条件序列生成

原文链接：

https://interspeech2019.org/program/tutorials/

附部分PDF预览：

GAN的三个类别

GAN的基本思想

GAN从2014年发展至今，有了很大进步

条件GAN

条件GAN中，可由图片生成图片，声音生成图片，图片生成标签等应用

无监督条件GAN生成有两种方法：

1. Cycle-GAN 

2.  共享一个隐空间

高质量延伸阅读

☞ OpenPV平台发布在线的ParallelEye视觉任务挑战赛

☞【学界】第1届“智能车辆中的平行视觉”研讨会成功举行

☞【学界】生成式对抗网络：从生成数据到创造智能

☞【学界】OpenPV：中科院研究人员建立开源的平行视觉研究平台

☞【学界】基于平行视觉的特定场景下行人检测

☞【学界】ParallelEye：面向交通视觉研究构建的大规模虚拟图像集

☞【CFP】Virtual Images for Visual Artificial Intelligence

☞【最详尽的GAN介绍】王飞跃等：生成式对抗网络 GAN 的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王飞跃教授：生成式对抗网络GAN的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王坤峰副研究员：GAN与平行视觉

☞【重磅】平行将成为一种常态：从SimGAN获得CVPR 2017最佳论文奖说起

☞【平行讲坛】平行图像：图像生成的一个新型理论框架

☞【学界】基于生成对抗网络的低秩图像生成方法

☞【学界】Ian Goodfellow等人提出对抗重编程，让神经网络执行其他任务

☞【学界】六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步

☞【资源】T2T：利用StackGAN和ProGAN从文本生成人脸

☞【学界】 CVPR 2018最佳论文作者亲笔解读：研究视觉任务关联性的Taskonomy

☞【业界】英特尔OpenVINO™工具包为创新智能视觉提供更多可能

☞【学界】ECCV 2018: 对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得 

☞【学界】何恺明组又出神作！最新论文提出全景分割新方法