CS224n 更新 | 第十二讲 - 语音处理的端对端模型

2018 年 8 月 1 日 AI研习社
CS224n 更新 | 第十二讲 - 语音处理的端对端模型

深度自然语言处理课 CS224n(2016-2017)为斯坦福官方开源最新版本,由斯坦福大学教授、 Salesforce 首席科学家 Richard Socher 授权雷锋字幕组翻译。

每周三,同步更新在 AI 研习社、AI 慕课学院。


第十二讲

语音处理的端对端模型

上手视频约 8 分钟

 ▼


翻译 |  吴晓曼   校对 | 程炜    字幕 | 凡江   

  课程直达


扫下方二维码

免费无限次观看 CS224n 中英字幕版


  中文版 CS224d 课程介绍

自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言话语也是人工智能的重要组成部分。 NLP 的应用无处不在,因为人与人之间大部分的沟通都需要语言:网络搜索,广告,电子邮件,客户服务,语言翻译,放射报告等。

NLP 应用程序背后有大量的基础任务和机器学习模型。最近,深度学习方法通过不同的 NLP 任务实现了超高性能。这些模型通常可以通过单一的端到端模型进行训练,而不需要传统的、特定任务特征的工程。

CS224d  ( 2016-2017 ) 中英字幕版

在这个冬季课程中,学生将学习执行、训练、调试、可视化和创造他们自己的神经网络模型。该课程全面介绍了应用于NLP的深度学习尖端研究。在模型方面,介绍词向量表示、基于窗口的神经网络、时间递归神经网络、长期短期记忆模型、结构递归神经网络、卷积神经网络以及一些涉及存储器组件的最新模型。

学生通过讲座和编程作业,可以掌握用神经网络解决实际问题的必备技巧。


  领衔主讲人是 Christopher Manning、Richard Socher

2016-2017 年版 CS224d 课程讲座,由斯坦福大学教授 Christopher Manning、Richard Socher 领衔主讲。

Christopher Manning 是斯坦福大学计算机科学和语言学系机器学习领域的首席教授。Manning 是将深度学习运用于自然语言处理的先驱,他希望能够创造出能够智能处理、理解、生成人类语言材料的计算机。同时,Manning 还是国际计算机学会( ACM )、国际人工智协会( AAAI )、国际计算语言学会(ACL)等国际权威学术组织的会士,曾获 ACL、 EMNLP 、 COLING 、CHI 等国际顶会最佳论文奖。

领衔主讲人 Christopher Manning

Richard Socher 是 Salesforce 的首席科学家,也是斯坦福大学计算机科学系的兼职教授。2016年曾担任被 Salesforce 收购的 MetaMind 的创始人兼首席执行官兼首席技术官。

主讲人 Richard Socher

CS224d ( 2016-2017 )  原版授课团队


  学习 CS224d 的必备知识

  • 熟练掌握 Python

所有课堂作业将在 Python 中(使用 Numpy 和 Tensorflow)。这里有一个教程,用于那些不熟悉 Python 的人。如果你有很多编程经验,但使用不同的语言(例如 C / C ++ / Matlab / Javascript ),可能会更好。

  • 大学微积分、线性代数

你应该会求导数,也了解矩阵向量运算与符号。

  • 基本概率和统计

你应该知道概率、高斯分布、均值、标准差等基本知识。

  • 机器学习基础

我们会用梯度下降制定成本函数、求导数及执行优化。CS221 或 CS229 都会涵盖这些内容。掌握一些凸优化知识,优化技巧将会更直观。


  课程大纲

第一讲 - NLP和深度学习入门

第二讲 - 词向量表示: word2vec

第三讲 - 高级词向量表示

第四讲 - Word Window 分类与神经网络

第五讲 - 反向传播和项目建议

第六讲 - 依存分析

第七讲 - TensorFlow入门

第八讲 - RNN和语言模式

第九讲 - 机器翻译和高级循环神经网络 LSTMs 和 GRUs

第十讲 - 神经机器翻译和注意力模型

第十一讲 -  GRU 及 NMT 的其他议题

第十二讲 - 语音处理的端对端模型

第十三讲 - 卷积神经网络

第十四讲 - 树 RNN 和短语句法分析

第十五讲 - 共指解析

第十六讲 - 用于回答问题的动态神经网络

第十七讲 - NLP 的问题和可能性架构

第十八讲 - 应对深度 NLP 的局限性


  课后作业

  • 作业1:在这个任务中,我们将熟悉神经网络,词向量及其在情绪分析中的应用的基本概念。

  • 作业2:在本作业中,您将学习 TensorFlow 的基础知识,使用 TensorFlow 为基于转换的依赖性分析实现前馈神经网络,并通过计算递归神经网络语言模型的渐变深入研究反向传播。

  • 作业3:在本作业中,您将学习关于命名实体识别和实现基线窗口模型以及循环神经网络模型。该任务还涵盖门控周期性单位,将其应用于简单的一维序列和命名实体识别。

  • 作业4:自己动手一个终极项目。

值得注意的是,CS224d 中英字幕课程也会放出课后作业和项目练习。

CS224d ( 2016-2017 )  作业概览

同时,为了提高用户的学习效果,在持续几个月的课程期间,雷锋字幕组联合 AI 慕课学院将安排 NLP 领域专家直播为学员答疑解惑。

CS224d ( 2016-2017 )  作业概览

感兴趣且有梯子的小伙伴可以戳这里:

http://web.stanford.edu/class/cs224n/archive/WWW_1617/index.html

斯坦福大学「CS224d:深度自然语言处理课程」中英字幕版:

http://www.mooc.ai/course/494


想阅读更多AI视频

欢迎点击“阅读原文”

或者移步 AI 研习社社区~

登录查看更多
3

相关内容

计算机科学(Computer Science, CS)是系统性研究信息与计算的理论基础以及它们在计算机系统中如何实现与应用的实用技术的学科。 它通常被形容为对那些创造、描述以及转换信息的算法处理的系统研究。计算机科学包含很多分支领域;其中一些,比如计算机图形学强调特定结果的计算,而另外一些,比如计算复杂性理论是学习计算问题的性质。还有一些领域专注于挑战怎样实现计算。比如程序设计语言理论学习描述计算的方法,而程序设计是应用特定的程序设计语言解决特定的计算问题,人机交互则是专注于挑战怎样使计算机和计算变得有用、可用,以及随时随地为 所用。 现代计算机科学( Computer Science)包含理论计算机科学和应用计算机科学两大分支。

最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

成为VIP会员查看完整内容
0
71

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

课程链接:http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

  • Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

  • Michael A. Nielsen. Neural Networks and Deep Learning

  • Eugene Charniak. Introduction to Deep Learning

5. 主讲:Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授,斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物,在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法,包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》(Manning and Schütze 1999)和《信息检索》(Manning,Raghavan and Schütze,2008)两本领先的教科书,还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow,AAAI Fellow,ACL Fellow,也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年,他在澳大利亚国立大学获得学士学位,在斯坦福大学获得博士学位。在回到斯坦福大学之前,他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人,负责斯坦福大学CoreNLP软件的开发。

个人主页:https://nlp.stanford.edu/~manning/

6. 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

 Gensim字矢量示例(Gensim word vectors example)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

PPT下载链接:https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码:re2l

成为VIP会员查看完整内容
0
58

报告主题:Recent Breakthroughs in Natural Language Processing

报告摘要:自然语言处理是计算机科学、语言学和机器学习的交叉点,它关注计算机与人类之间使用自然语言中的沟通交流。总之,NLP致力于让计算机能够理解和生成人类语言。NLP技术应用于多个领域,比如天猫精灵和Siri这样的语音助手,还有机器翻译和文本过滤等。机器学习是受NLP影响最深远的领域之一,尤为突出的是深度学习技术。该领域分为以下三个部分:语音识别、自然语言理解、自然语言生成。本次报告结合NLP的最新突破,分别剖析不同领域的研究进展,并对未来的研究方向作出简单概述。

邀请嘉宾:Christopher Manning,SAIL 新任负责人,于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。

Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

成为VIP会员查看完整内容
2019-10-31-02-01-Christopher-Manning.pdf
0
6
小贴士
相关VIP内容
专知会员服务
76+阅读 · 2020年6月10日
专知会员服务
71+阅读 · 2020年5月25日
专知会员服务
63+阅读 · 2020年1月15日
【CCL 2019】ATT-第19期:生成对抗网络 (邱锡鹏)
专知会员服务
33+阅读 · 2019年11月12日
相关论文
The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approach
Noé Tits,Kevin El Haddad,Thierry Dutoit
3+阅读 · 2019年10月14日
Investigating the Successes and Failures of BERT for Passage Re-Ranking
Harshith Padigela,Hamed Zamani,W. Bruce Croft
3+阅读 · 2019年5月5日
Chi Sun,Luyao Huang,Xipeng Qiu
7+阅读 · 2019年3月22日
Attend More Times for Image Captioning
Jiajun Du,Yu Qin,Hongtao Lu,Yonghua Zhang
6+阅读 · 2018年12月8日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
7+阅读 · 2018年9月13日
Linfeng Song,Zhiguo Wang,Mo Yu,Yue Zhang,Radu Florian,Daniel Gildea
6+阅读 · 2018年9月6日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Kai Yi,Zhiqiang Jian,Shitao Chen,Yuedong Yang,Nanning Zheng
3+阅读 · 2018年5月2日
Wei He,Kai Liu,Yajuan Lyu,Shiqi Zhao,Xinyan Xiao,Yuan Liu,Yizhong Wang,Hua Wu,Qiaoqiao She,Xuan Liu,Tian Wu,Haifeng Wang
3+阅读 · 2017年11月15日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Top