【斯坦福 Chris Manning 新课】CS224n：自然语言处理与深度学习，附课程PPT下载

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习，主讲人是斯坦福大学Chris Manning，他是斯坦福大学机器学习教授，语言学和计算机科学教授，斯坦福人工智能实验室（SAIL）主任，以人为本的人工智能研究所副所长。

近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中，学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题，学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理（NLP）是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中，学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题，学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点，CS224n将在今年使用Pytorch进行教学。

课程链接：http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1）精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python，或者您对NumPy不是很熟悉，则可以参加第1周的Python复习（在时间表中列出）。如果你有丰富的编程经验，但使用不同的语言(如C/ c++ /Matlab/Java/Javascript)，你可能会很好。

2）大学微积分，线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导，理解矩阵/向量符号和运算。

3）基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率，高斯分布，均值，标准差等。

4）机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数，求导数，用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识，课程将会更容易;但是，没有它也可以使用CS224n。在网页、书籍和视频形式中，有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读：

• Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

• Jacob Eisenstein. Natural Language Processing

• Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

• Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识，但无论如何还是想要学习这门课程，你可能会发现这些书中的一本对你提供更多的背景知识很有帮助：

• Michael A. Nielsen. Neural Networks and Deep Learning

• Eugene Charniak. Introduction to Deep Learning

5. 主讲：Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授，斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物，在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法，包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》（Manning and Schütze 1999）和《信息检索》（Manning，Raghavan and Schütze，2008）两本领先的教科书，还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow，AAAI Fellow，ACL Fellow，也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年，他在澳大利亚国立大学获得学士学位，在斯坦福大学获得博士学位。在回到斯坦福大学之前，他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人，负责斯坦福大学CoreNLP软件的开发。

个人主页：https://nlp.stanford.edu/~manning/

6. 课程安排

01： 介绍和词向量（Introduction and Word Vectors）

 Gensim字矢量示例（Gensim word vectors example）

02：单词向量2和单词意义(Word Vectors 2 and Word Senses)

03：Python复习课(Python review session)

04：词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05：反向传播和计算图(Backpropagation and Computation Graphs)

06：语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07：一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08：消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09：机器翻译，Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10：最终项目的实用技巧(Practical Tips for Final Projects)

11：问答和默认的最终项目(Question Answering and the Default Final Project)

12：NLP的ConvNets（ConvNets for NLP）

13：部分单词（子单词模型）和转换器结构的信息（部分单词（子单词模型）和转换器结构的信息）

14：上下文单词表示（Contextual Word Representations）

15：使用的建模上下文:上下文表示和预训练（Modeling contexts of use: Contextual Representations and Pretraining）

16：自然语言生成（Natural Language Generation）

17：语言参考和共指解析（Reference in Language and Coreference Resolution）

18：AI中的公平和包容（Fairness and Inclusion in AI）

19：选区解析和树递归神经网络（Constituency Parsing and Tree Recursive Neural Networks）

20：NLP以及深度学习的未来（NLP+深度学习的未来）

PPT下载链接：https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码：re2l