CS224n又开始了！斯坦福 Chris Manning 新课—自然语言处理与深度学习，附课程PPT下载- 专知

CS224n又开始了！斯坦福 Chris Manning 新课—自然语言处理与深度学习，附课程PPT下载

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习，主讲人是斯坦福大学Chris Manning，他是斯坦福大学机器学习教授，语言学和计算机科学教授，斯坦福人工智能实验室（SAIL）主任，以人为本的人工智能研究所副所长。

近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中，学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题，学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理（NLP）是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中，学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题，学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点，CS224n将在今年使用Pytorch进行教学。

课程链接：http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1）精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python，或者您对NumPy不是很熟悉，则可以参加第1周的Python复习（在时间表中列出）。如果你有丰富的编程经验，但使用不同的语言(如C/ c++ /Matlab/Java/Javascript)，你可能会很好。

2）大学微积分，线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导，理解矩阵/向量符号和运算。

3）基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率，高斯分布，均值，标准差等。

4）机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数，求导数，用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识，课程将会更容易;但是，没有它也可以使用CS224n。在网页、书籍和视频形式中，有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读：

•Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

•Jacob Eisenstein. Natural Language Processing

•Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

•Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识，但无论如何还是想要学习这门课程，你可能会发现这些书中的一本对你提供更多的背景知识很有帮助：

•Michael A. Nielsen. Neural Networks and Deep Learning

• Eugene Charniak. Introduction to Deep Learning

5. 主讲：Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授，斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物，在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法，包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》（Manning and Schütze 1999）和《信息检索》（Manning，Raghavan and Schütze，2008）两本领先的教科书，还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow，AAAI Fellow，ACL Fellow，也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年，他在澳大利亚国立大学获得学士学位，在斯坦福大学获得博士学位。在回到斯坦福大学之前，他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人，负责斯坦福大学CoreNLP软件的开发。

个人主页：https://nlp.stanford.edu/~manning/