独家 | 一文读懂语音识别（附学习资源）

2017 年 7 月 20 日 数据派THU 白柯

一、前言

6月27日，美国权威科技杂志《MIT科技评论》公布2017全球最聪明50家公司榜单。科大讯飞名列中国第一、全球第六。全世界排在科大讯飞前面企业分别是：英伟达、Spacex、亚马逊、23andme、Alphabet。《MIT科技评论》认为，“科大讯飞旗下的语音助手是中国版的Siri，其可携带实时翻译器则是一款杰出的人工智能应用，克服了方言、俚语和背景杂音，可将汉语精准地翻译成十几种语言。科大讯飞在中国语音技术市场的占有率70%。”越来越多的人认为，语音识别将成为下一代交互革命的关键技术。

与此同时，在日常生活中，我们已经习惯用Siri或者Cortana这样的语音助手在一些特定的情况下帮我们解决一些小问题，如在开车时制定本周的日常，简短地回复他人消息等等，然而，在大多数情况下语音助手的使用率并不高，据研究机构CreativeStrategies的调查-有62%的安卓用户从未使用过语音助手，而这个数字苹果用户中则是70%。是语音识别的技术还不够先进，还是人们不需要语音助手呢？Amazon Echo的成功或许能给我一些启示。

Amazon Echo是亚马逊公司于2014年11月推出的一款家庭语音助手，能够实现包括购物、控制智能家居、阅读Kindle、预约Uber、跟踪（亚马逊）快递、订披萨、计时、算术、放音乐、找手机、模仿雨声等等诸多功能，一经推出就点燃了市场的热情，据国外研究机构统计，2015年Echo的销量是170万台左右，2016年则增长至650万余台，而截至2017年1月，亚马逊Echo的全球销量已超过700万台，预计今年将突破1100万台。另据eMarketer的一份报告，在美国智能音箱市场，亚马逊Echo占据的市场份额超过70%。

同样是语音助手，为何Echo与Siri的境况如此不同呢，有研究者认为，这主要是两种产品使用环境不同而导致的。对于大多数人而言，在公共场合拿出手机，对着一个机器人说话不但缺乏隐私，同时多少有些不适；而在家庭中，面对家人和朋友，这点就能够有效避免，同时安静的环境更能有效提高机器识别的速度与精度，可以认为，Amazon Echo精准地切入了市场。然而，其他巨头也不甘人后，纷纷推出了自己的家庭智能语音助手：苹果推出了Home pod, 而google 也推出了google home. 看来，一场语音大战已经风雨欲来。

二、语音识别的基本原理

所谓语音识别，就是将一段语音信号转换成相对应的文本信息，系统主要包含特征提取、声学模型，语言模型以及字典与解码四大部分，其中为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作，把要分析的信号从原始信号中提取出来；之后，特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。

1. 声学信号预处理

作为语音识别的前提与基础，语音信号的预处理过程至关重要。在最终进行模板匹配的时候，是将输入语音信号的特征参数同模板库中的特征参数进行对比，因此，只有在预处理阶段得到能够表征语音信号本质特征的特征参数，才能够将这些特征参数进行匹配进行识别率高的语音识别。

首先需要对声音信号进行滤波与采样，此过程主要是为了排除非人体发声以外频率的信号与50Hz电流频率的干扰，该过程一般是用一个带通滤波器、设定上下戒指频率进行滤波，再将原有离散信号进行量化处理实现的；之后需要平滑信号的高频与低频部分的衔接段，从而可以在同一信噪比条件下对频谱进行求解，使得分析更为方便快捷；分帧加窗操作是为了将原有频域随时间变化的信号具有短时平稳特性，即将连续的信号用不同长度的采集窗口分成一个个独立的频域稳定的部分以便于分析，此过程主要是采用预加重技术；最后还需要进行端点检测工作，也就是对输入语音信号的起止点进行正确判断，这主要是通过短时能量（同一帧内信号变化的幅度）与短时平均过零率（同一帧内采样信号经过零的次数）来进行大致的判定，具体可以参考文末【参考文献】。

2. 声学特征提取

完成信号的预处理之后，随后进行的就是整个过程中极为关键的特征提取的操作。将原始波形进行识别并不能取得很好的识别效果，频域变换后提取的特征参数用于识别，而能用于语音识别的特征参数必须满足以下几点:

特征参数能够尽量描述语音的根本特征；
尽量降低参数分量之间的耦合，对数据进行压缩；
应使计算特征参数的过程更加简便，使算法更加高效。基音周期、共振峰值等参数都可以作为表征语音特性的特征参数。

目前主流研究机构最常用到的特征参数有：线性预测倒谱系数（LPCC）和 Mel 倒谱系数（MFCC）。两种特征参数在倒谱域上对语音信号进行操作，前者以发声模型作为出发点，利用 LPC 技术求倒谱系数。后者则模拟听觉模型，把语音经过滤波器组模型的输出做为声学特征，然后利用离散傅里叶变换（DFT）进行变换。

所谓基音周期，是指声带振动频率（基频）的振动周期，因其能够有效表征语音信号特征，因此从最初的语音识别研究开始，基音周期检测就是一个至关重要的研究点；所谓共振峰，是指语音信号中能量集中的区域，因其表征了声道的物理特征，并且是发音音质的主要决定条件，因此同样是十分重要的特征参数。关于这二者的详细提取方法以及目前主流的特征参数LPCC、MFCC等详细方法在此不再赘述，可以查阅文末【参考文献】。此外，目前也有许多研究者开始将深度学习中一些方法应用在特征提取中，取得了较快的进展，这部分将在第3章中进行比较详细的介绍。

3. 声学模型

声学模型是语音识别系统中非常重要的一个组件，对不同基本单元的区分能力直接关系到识别结果的好坏。语音识别本质上一个模式识别的过程，而模式识别的核心是分类器和分类决策的问题。

通常，在孤立词、中小词汇量识别中使用动态时间规整（DTW）分类器会有良好的识别效果，并且识别速度快，系统开销小，是语音识别中很成功的匹配算法。但是，在大词汇量、非特定人语音识别的时候，DTW 识别效果就会急剧下降，这时候使用隐马尔科夫模型（HMM）进行训练识别效果就会有明显提升，由于在传统语音识别中一般采用连续的高斯混合模型GMM来对状态输出密度函数进行刻画，因此又称为GMM-HMM构架。

同时，随着深度学习的发展，通过深度神经网络来完成声学建模，形成所谓的DNN-HMM构架来取代传统的GMM-HMM构架，在语音识别上也取得了很好的效果，将在第3章中进行介绍，本章先对于高斯混合模型-隐马尔科夫模型（GMM-HMM）的基本理论进行介绍。

3.1 高斯混合模型

对于一个随机向量 x，如果它的联合概率密度函数符合公式2-9，则称它服从高斯分布，并记为 x ∼ N(µ, Σ)。

其中，µ 为分布的期望，Σ 为分布的协方差矩阵。高斯分布有很强的近似真实世界数据的能力，同时又易于计算，因此被广泛地应用在各个学科之中。但是，仍然有很多类型的数据不好被一个高斯分布所描述。这时候我们可以使用多个高斯分布的混合分布来描述这些数据，由多个分量分别负责不同潜在的数据来源。此时，随机变量符合密度函数。

其中，M 为分量的个数，通常由问题规模来确定。

我们称认为数据服从混合高斯分布所使用的模型为高斯混合模型。高斯混合模型被广泛的应用在很多语音识别系统的声学模型中。考虑到在语音识别中向量的维数相对较大，所以我们通常会假设混合高斯分布中的协方差矩阵 Σm 为对角矩阵。这样既大大减少了参数的数量，同时可以提高计算的效率。

使用高斯混合模型对短时特征向量建模有以下几个好处：首先，高斯混合模型的具有很强的建模能力，只要分量总数足够多，高斯混合模型就可以以任意精度来逼近一个概率分布函数；另外，使用 EM 算法可以很容易地使模型在训练数据上收敛。对于计算速度和过拟合等问题，人们还研究出了参数绑定的 GMM 和子空间高斯混合模型 (subspace GMM) 来解决。除了使用 EM 算法作最大似然估计以外，我们还可以使用和词或音素错误率直接相关的区分性的误差函数来训练高斯混合模型，能够极大地提高系统性能。因此，直到在声学模型中使用深度神经网络的技术出现之前，高斯混合模型一直是短时特征向量建模的不二选择。

但是，高斯混合模型同样具有一个严重的缺点：高斯混合模型对于靠近向量空间上一个非线性流形 (manifold) 上的数据建模能力非常差。例如，假设一些数据分布在一个球面两侧，且距离球面非常近。如果使用一个合适的分类模型，我们可能只需要很少的参数就可以将球面两侧的数据区分开。但是，如果使用高斯混合模型描绘他们的实际分布情况，我们需要非常多的高斯分布分量才能足够精确地刻画。这驱使我们寻找一个能够更有效利用语音信息进行分类的模型。

3.2 隐马尔科夫模型

我们现在考虑一个离散的随机序列，若转移概率符合马尔可夫性质，即将来状态和过去状态独立，则称其为一条马尔可夫链 (Markov Chain)。若转移概率和时间无关，则称其为齐次 (homogeneous) 马尔可夫链。马尔可夫链的输出和预先定义好的状态一一对应，对于任意给定的状态，输出是可观测的，没有随机性。如果我们对输出进行扩展，使马尔可夫链的每个状态输出为一个概率分布函数。这样的话马尔可夫链的状态不能被直接观测到，只能通过受状态变化影响的符合概率分布的其他变量来推测。我们称以这种以隐马尔可夫序列假设来建模数据的模型为隐马尔可夫模型。

对应到语音识别系统中，我们使用隐马尔可夫模型来刻画一个音素内部子状态变化，来解决特征序列到多个语音基本单元之间对应关系的问题。

在语音识别任务中使用隐马尔可夫模型需要计算模型在一段语音片段上的可能性。而在训练的时候，我们需要使用 Baum-Welch 算法[23] 学习隐马尔可夫模型参数，进行最大似然估计 (Maximum Likelihood Estimation, MLE)。Baum-Welch 算法是EM (Expectation-Maximization) 算法的一种特例，利用前后项概率信息迭代地依次进行计算条件期望的 E 步骤和最大化条件期望的 M 步骤。

4. 语言模型

语言模型主要是刻画人类语言表达的方式习惯，着重描述了词与词在排列结构上的内在联系。在语音识别解码的过程中，在词内转移参考发声词典、词间转移参考语言模型，好的语言模型不仅能够提高解码效率，还能在一定程度上提高识别率。语言模型分为规则模型和统计模型两类，统计语言模型用概率统计的方法来刻画语言单位内在的统计规律，其设计简单实用而且取得了很好的效果，已经被广泛用于语音识别、机器翻译、情感识别等领域。

最简单又却又最常用的语言模型是 N 元语言模型 (N-gram Language Model,N-gram LM) 。N 元语言模型假设当前在给定上文环境下，当前词的概率只与前N-1 个词相关。于是词序列 w1, . . . , wm 的概率 P(w1, . . . , wm) 可以近似为

为了得到公式中的每一个词在给定上文下的概率，我们需要一定数量的该语言文本来估算。可以直接使用包含上文的词对在全部上文词对中的比例来计算该概率，即

对于在文本中未出现的词对，我们需要使用平滑方法来进行近似，如 Good-Turing估计或 Kneser-Ney 平滑等。

5. 解码与字典

解码器是识别阶段的核心组件，通过训练好的模型对语音进行解码，获得最可能的词序列，或者根据识别中间结果生成识别网格 (lattice) 以供后续组件处理。解码器部分的核心算法是动态规划算法 Viterbi。由于解码空间非常巨大，通常我们在实际应用中会使用限定搜索宽度的令牌传递方法 (token passing)。

传统解码器会完全动态生成解码图 (decode graph)，如著名语音识别工具HTK(HMM Tool Kit) 中的 HVite 和 HDecode 等。这样的实现内存占用较小，但考虑到各个组件的复杂性，整个系统的流程繁琐，不方便高效地将语言模型和声学模型结合起来，同时更加难以扩展。现在主流的解码器实现会一定程度上使用预生成的有限状态变换器 (Finite State Transducer, FST) 作为预加载的静态解码图。这里我们可以将语言模型 (G)，词汇表（L），上下文相关信息 (C)，隐马尔可夫模型(H）四个部分分别构建为标准的有限状态变换器，再通过标准的有限状态变换器操作将他们组合起来，构建一个从上下文相关音素子状态到词的变换器。这样的实现方法额外使用了一些内存空间，但让解码器的指令序列变得更加整齐，使得一个高效的解码器的构建更加容易。同时，我们可以对预先构建的有限状态变换器进行预优化，合并和剪掉不必要的部分，使得搜索空间变得更加合理。

小结：

在过去，最流行的语音识别系统通常使用梅尔倒谱系数MFCC或者相对频谱变换-感知线性预测 RASTA-PLP，作为特征向量，使用高斯混合模型-隐马尔科夫模型GMM-HMM作为声学模型，用最大似然准则，ML和期望最大化算法来训练这些模型。

三、语音识别的前沿领域

早在上个世纪八十年代，就有研究者在语言识别中使用神经网络作为分类器。但受限于当时机器的计算能力，语音数据的稀少，以及对语音基本单元建模的选择等等因素，神经网络分类器并没有在后来成为语音识别系统中成为主流，效果不如使用高斯混合模型。但随着新世纪人们对神经网络的重新认识，深度学习的风潮再次席卷了语音界，人们纷纷转向研究深度神经网络在语音识别中的应用。深度神经网络模型是区分性 (discriminative) 的模型，对于区分不同的基本单位这个任务来说，比需要描述完整分布的产生性 (generative) 模型高斯混合模型模型需要的参数相对更少，更容易获得好的效果。

随着深度学习的大热，诸如人工神经网络ANN，卷积神经网络CNN以及重要的反向传播BP等重要概念已经广为人知，在此就不再进行赘述。

1. 深度学习与声学特征提取

一种最简单的在传统 HMM-GMM 系统中应用神经网络的方法就是使用神经网路进行特征学习。这样的方法不用修改已有的语音识别框架，可以在不大改系统的基础上提高系统的性能。

利用传统的语音特征提取算法（如MFCC 或 PLP）提取的特征只对单帧信号作用，不能很好地涵盖有效语音信息，也易受噪声污染。对于语音的特征学习和语音识别而言，这个目标可以归纳为对原始频谱特征的使用或是对波形特征的使用。过去 30 年以来，虽然对语音频谱进行变换丢失了原始语音数据的部分信息，但是多种“手工制作”的特征促进了 GMM-HMM 系统识别率的巨大提升。其中最成功的是非自适应的余弦变换，它促进了 MFCC特征的产生。余弦变换近似地去除了特征成分之间的相关性，这对使用对角协方差阵的 GMM 来说很重要的。然而，当深度学习模型替代 GMM 模型后以后，使得去除特征之间的相关性变得无关紧要。

在利用DNN进行特征提取中，存在两种比较常见的思路：第一种是瓶颈 (bottlenec, BN) 特征。我们需要构造一个瓶颈形状的神经网络，即其中有一个隐藏层的维度比其他的隐藏层的维度相对小很多。接下来，我们既可以使用自动编码器 (auto encoder) 对网络进行无监督训练，也可以令网络的输出目标为状态后验概率，通过 BP 算法进行有监督训练。训练完成后，将瓶颈后面的网络结构删去，取此时网络的输出为特征。这样获得的 BN 特征可以被认为是一种非线性的特征变换和降维技术。在构建 HMM-GMM 声学模型时，我们通常将 BN 特征和传统短时特征如 MFCC等拼接在一起，共同作为 HMM-GMM 模型的输入进行学习。工作中使用经过预训练的深度神经网络替代传统 BN 特征中常常使用的浅层网络，结合区分性训练的方法使系统的性能得到了大幅度的提升。另一种特征学习方法为使用串联 (tandem) 特征。在工作中，串联特征首先使用神经网络分类器估算音素的后验概率，然后将网络输出的向量通过 PCA 做正交化作为 HMM-GMM 系统输入的特征。这样的串联方法比直接使用神经网络混合模型和标准 GMM 模型的效果都要好。而 Sivadas 等人在串联特征中使用了层次化的结构，将原来单一的神经网络替换为多个神经网络，分别被训练为具有不同的功能而又层次化地组织在一起。这种方法比原有单一神经网络的参数规模少，训练时间更短，同时获得了更好的性能。

2. 深度学习与声学建模

随着深度神经网络在语音识别中的作用被一步步更深地挖掘，直接采用HMM-DNN 混合模型便成了更好的选择。在 HMM-DNN 混合模型中，我们将不同状态使用的多个 GMM 模型通过一个深度神经网络代替。我们需要训练一个深度神经网络，训练目标是估算输入的语音帧在每一个 HMM 状态下的后验概率，即P(qt = s|xt)。为了能够正确的估算在不同状态的后验概率，我们通常需要先通过已有的 HMM-GMM 模型和标注生成训练语料的强制对齐信息 (force alignment) 作为网络训练的目标。而强制对齐信息的好坏也很大程度上影响训练好的 HMM-DNN混合模型系统性能，[38] 的工作中人们通过迭代使用新训练好的 HMM-DNN 混合模型生成对齐信息重新训练 HMM-DNN 混合模型的方式进一步提高了系统的性能。另外，我们通常会使用相邻的多个帧的特征复合而成的特征作为神经网络的输入，增强网络对相邻信息的利用能力。

3. 未来的研究方向

目前采用深度学习结合隐马尔科夫模型的语音识别系统已经取得了较好的识别效果，如百度 Deep Speech 2 的短语识别的词错率降到了3.7%，微软英语语音识别词错率达到了 5.9%，并且已经推向了商业应用，但目前的智能语音识别还是存在着相当的提升空间。

在机器之心主办的第一届全球机器智能峰会（GMIS 2017）上，腾讯 AI Lab 副主任、西雅图人工智能研究室负责人俞栋发表了主题为《语音识别领域的前沿研究》的演讲，探讨分享了语音识别领域的 4 个前沿问题：

研究方向一：更有效的序列到序列直接转换的模型

语音识别实际上是把语音信号的序列转化为文字或词的序列，所以很多人认为要解决这个问题，找到一个行之有效、序列到序列的转换模型就可以了。

从前的绝大部分研究是通过对问题做假设，然后据此在语音信号序列到词序列之间构造若干个组件，把语音信号序列逐步转换成词的序列。这些假设中的许多部分，比如短时平稳假设和conditional independence假设，在某些特定场合是合理的，但是在很多真实的场景下是有问题的。而序列到序列直接转换的模型背后的思路是说，如果我们去掉基于有问题的假设而设计的这些组件，然后以从训练数据中学到的转换模型来替换，就有可能找到更好的方法，使序列转换更准确。这样做另外一个好处是整个的训练过程也可以变简单。

研究方向二：鸡尾酒会问题

在安静环境下的语音识别系统已经接近了人类的水平。目前也有很多实际的应用，但目前的语音识别系统在强噪声干扰情况下还很难达到实用化要求。对于人类的听觉系统则有一种“鸡尾酒会效应”，我们在具有背景噪声干扰的情况下，可以将注意力集中在某一个人的谈话之中，而这种人类听觉系统的功能目前语音识别系统还很难实现，该问题在远场麦克风时会体现的更为明显，一种可能的方法就是采用麦克风阵列，同时从多位置、多角度捕捉声音信号来提升识别的效果，但这未必是最优的解决方案，未来通过对大脑的进一步研究可能会为我们带来启发。

研究方向三：持续预测与适应的模型

在语音识别领域，能否建造一个持续做预测系统呢？这样可以不断根据已有的识别结果来为下一次识别进行改进，而目前在语音识别上，普遍上还是仅仅将语音与文本做简单的匹配从而进行识别，对于语言中具体信息间的联系利用还是非常不足的，因此如果可以建造一个更好的模型，它能够持续地做识别。它需要的特点是什么呢？一个是它能够非常快地做Adaptation，使得下一次再做识别的时候，我们有办法把类似信息用更好的方式压缩在模型里面，所以在下一次可以很快做识别。

研究方向四：前后端联合优化

传统来讲，前端的信号处理技术一般只用到当前状态下的语音的信号信息。而机器学习方法用到很多的训练器里学到的信息，但是很少用到当前帧的信息，它不进行数据建模，所以我们有没有办法把这两种方法比较好地融合在一起，这是目前很多研究组织发力的一个方向。

另外，我们有没有办法更好地把前端的信号处理跟后端的语音识别引擎做更好的优化。因为前端信号处理有可能丢失信息，且不可在后端恢复。所以我们有没有办法做一个自动的系统，能够比较好地分配这些信息的信号处理，使得前端可以比较少地丢失信息，从而在后端把这些信息更好地利用起来。

四、资源推荐

资源站

http://www.52nlp.cn/%e4%b9%a6%e7%b1%8d

我爱语音识别，里边有各种书籍、课程等各种资源，还有交流论坛

书籍

黄学东博士的Spoken Language Processing
L. Rabiner教授和美国国家工程院院士庄炳煌教授合著的Fundamentals of Speech Recognition
剑桥大学前副校长、英国皇家工程院院士Steve Young教授 HTK工具包的手册，HTK Book。

工具包

HTK

HTK（ http://htk.eng.cam.ac.uk ）是剑桥大学开发的一个非常经典的语音识别工具包，全球大约有10万专业用户。HTK使用C语言编写的，最早的代码已经有20多年的历史了。关于HTK的一个故事是与它有关的剑桥Entropy公司曾经被微软公司购买，在获得Entropy的语音团队后，微软公司又将HTK的版权还给了剑桥大学，日后成为了免费的开源工具。HTK的最大优点是代码和功能非常稳定，并且集成的都是最主流的语音识别技术；并且HTK的很多扩展包本身也非常经典，比如最重要的统计语音合成工具包HTS。HTK的另一大优点是它有相对最完善的文档手册，也就是前文提到的HTK Book。HTK的缺点之一是更新相对缓慢，并且部分代码由于编写时间比较久，需要一定的更新。HTK在2015年底已经更新了包含有神经网络技术的3.5 beta版本。HTK的另一个缺点是目前缺乏易用的脚本系统，HTK附带的资源管理（RM）数据集的例子虽然涵盖了GMM-HMM、自适应、区分性训练、DNN等主要技术，但部分脚本使用tcsh编写，不方便上手。

Kaldi

Kaldi（ Kaldi · GitHub ）是一个使用C++编写的全面向对象的工具包。Kaldi是传说中发现咖啡的咖啡之神的名字，用这个名字的意思据说是希望工具包像咖啡那样容易、方便、流行，具体方式之一包括发布大量比较适合初学者上手的可以直接运行的脚本和例子，所以据说国内很多语音公司都是直接使用Kaldi或从Kaldi的源代码学习技术。Kaldi是由前微软公司研究院的Dan Povey博士与捷克的BUT大学联合开发的。另外值得一提的是，Dan Povey博士也是HTK的作者之一，于是Kaldi和HTK的技术思路比较相近，但经过若干年的发展，Kaldi集成的技术已经多于HTK。这部分是因为HTK开发协议不同：由于Kaldi用户协议比较开放，于是经常可以第一时间集成很多新技术。但优点和缺点往往是伴生的，Kaldi的一个缺点是目前由于贡献者比较多，所以代码的branch比较多，并且有时会有不稳定或有问题的代码更新，所以如果使用最新的代码时常会遇到问题，甚至有时有版本前后不兼容的情况。所以使用Kaldi比较新的功能的话，推荐多比较几个branch看看。并且Kaldi暂时缺少完善的手册，所以入门的话可以考虑多向有经验的用户讨论请教。

CNTK

最近另一个非常值得推荐的新工具包是微软公司由俞栋博士领衔开发的CNTK（ Computational Network Toolkit (CNTK) ），其中关于神经网络的功能非常强大，据说优于Kaldi中许多常用的神经网络branch。CNTK的一大亮点是定位于多种问题的组合，比如机器翻译+语音识别等等。但这样也导致CNTK并不是完全专业的语音识别工具，需要配合Kaldi等工具使用。据说微软公司正在对CNTK进行优化和更新，未来优化后的版本有望从源代码质量到运行效率都有显著提升。另外，CNTK毫无疑问也是以上工具包中对Windows平台支持最好的，比较符合国内的使用习惯。

课程

http://cs224d.stanford.edu/

斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程：CS224d: Deep Learning for Natural Language Processing，授课老师是青年才俊 Richard Socher，他本人是德国人，大学期间涉足自然语言处理，在德国读研时又专攻计算机视觉，之后在斯坦福大学攻读博士学位，拜师NLP领域的巨牛 Chris Manning 和 Deep Learning 领域的巨牛 Andrew Ng，其博士论文是《Recursive Deep Learning for Natural Language Processing and Computer Vision》，也算是多年求学生涯的完美一击。毕业后以联合创始人及CTO的身份创办了MetaMind，作为AI领域的新星创业公司，MetaMind创办之初就拿了800万美元的风投，值得关注。

演讲

https://v.qq.com/x/page/b0389gr6qsy.html

参考文献：

王一蒙. 语音识别关键技术研究[D]. 电子科技大学, 2015.

刘超. 语音识别中的深度学习方法[D]. 清华大学, 2016.

张建华. 基于深度学习的语音识别应用研究[D]. 北京邮电大学, 2015.

周盼. 基于深层神经网络的语音识别声学建模研究[D]. 中国科学技术大学, 2014.

柯登峰, 徐波. 互联网时代语音识别基本问题[J]. 中国科学：信息科学, 2013, 43(12):1578-1597.

GMIS 2017 | 腾讯AI Lab副主任俞栋：语音识别研究的四大前沿方向，机器之心

白柯，数据派研究部志愿者，清华在读研究生。

文史书虫，健身达人。爱数据，爱生活，大爱数据派~

【一文读懂】系列往期回顾：

独家 | 一文读懂深度学习（附学习资源）

独家 | 一文读懂迁移学习（附学习工具包）

独家 | 一文读懂非关系型数据库（NoSQL）

编辑：黄继彦

数据派研究部介绍

数据派研究部成立于2017年初，志于打造一流的结构化知识分享平台、活跃的数据科学爱好者社群，致力于传播数据思维、提升数据能力、探索数据价值、实现产学研结合！

研究部的逻辑在于知识结构化、实践出真知：梳理打造结构化基础知识网络；原创手把手教以及实践经验等文章；形成专业兴趣社群，交流学习、组队实践、追踪前沿。
兴趣组是研究部的核心，各组既遵循研究部整体的知识分享和实践项目规划，又会各具特色：
算法模型组：积极组队参加kaggle等比赛，原创手把手教系列文章；
调研分析组：通过专访等方式调研大数据的应用，探索数据产品之美；
系统平台组：追踪大数据&人工智能系统平台技术前沿，对话专家；
自然语言处理组：重于实践，积极参加比赛及策划各类文本分析项目；
制造业大数据组：秉工业强国之梦，产学研政结合，挖掘数据价值；
数据可视化组：将信息与艺术融合，探索数据之美，学用可视化讲故事；
网络爬虫组：爬取网络信息，配合其他各组开发创意项目。

点击文末“阅读原文”，报名数据派研究部志愿者，总有一组适合你~

为保证发文质量、树立口碑，数据派现设立“错别字基金”，鼓励读者积极纠错。

若您在阅读文章过程中发现任何错误，请在文末留言，或到后台反馈，经小编确认后，数据派将向检举读者发8.8元红包。

同一位读者指出同一篇文章多处错误，奖金不变。不同读者指出同一处错误，奖励第一位读者。

感谢一直以来您的关注和支持，希望您能够监督数据派产出更加高质的内容。