课程题目

From Languages to Information

课程内容

《从语言到信息》是一门(半)翻转的课程,有很多在线材料。大部分讲座都有录像,你可以在家里看。每周的测验和编程作业将自动上传和评分EdX提供讲座、测验和家庭作业。网络世界以语言和社交网络的形式存在着大量的非结构化信息。学习如何理解它,以及如何通过语言与人类互动,从回答问题到给出建议。从人类语言文本、语音、网页、社交网络中提取意义、信息和结构。介绍方法(字符串算法、编辑距离、语言建模、机器学习分类器、神经嵌入、倒排索引、协作过滤、PageRank)、应用(聊天机器人、情感分析、信息检索、问答、文本分类、社交网络、推荐系统),以及两者的伦理问题。

课程嘉宾

Dan Jurafsky ,人文学科教授,斯坦福大学计算机科学教授兼语言学主席,研究自然语言处理及其在认知和社会科学中的应用。

成为VIP会员查看完整内容
0
14

相关内容

Dan Jurafsky ,人文学科教授,斯坦福大学计算机科学教授兼语言学主席,研究自然语言处理及其在认知和社会科学中的应用。

最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

成为VIP会员查看完整内容
0
71

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

课程链接:http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

  • Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

  • Michael A. Nielsen. Neural Networks and Deep Learning

  • Eugene Charniak. Introduction to Deep Learning

5. 主讲:Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授,斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物,在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法,包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》(Manning and Schütze 1999)和《信息检索》(Manning,Raghavan and Schütze,2008)两本领先的教科书,还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow,AAAI Fellow,ACL Fellow,也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年,他在澳大利亚国立大学获得学士学位,在斯坦福大学获得博士学位。在回到斯坦福大学之前,他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人,负责斯坦福大学CoreNLP软件的开发。

个人主页:https://nlp.stanford.edu/~manning/

6. 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

 Gensim字矢量示例(Gensim word vectors example)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

PPT下载链接:https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码:re2l

成为VIP会员查看完整内容
0
57

课程简介: 本课程将向学生介绍NLP的基础知识,涵盖处理自然语言的标准框架以及解决各种NLP问题的算法和技术,包括最新的深度学习方法。 涵盖的主题包括语言建模,表示学习,文本分类,序列标记,语法解析,机器翻译,问题解答等。

课程安排:

  • 概述与简介
  • 语言模型
  • 文本分类
  • 线性模型
  • 词嵌入
  • 神经网络基础
  • 序列模型
  • EM模型
  • RNN神经语言模型
  • 解析介绍
  • 机器翻译
  • 神经机器翻译
  • 文本词嵌入
  • 问答系统
  • 对话系统
  • 嘉宾讲座

嘉宾介绍:

陈丹琦,普林斯顿大学计算机科学的助理教授,在此之前,是西雅图Facebook AI Research(FAIR)的访问科学家。 斯坦福大学计算机科学系获得博士学位,并在斯坦福NLP集团工作。研究方向:自然语言处理,文本理解、知识解释。

Karthik Narasimhan,普林斯顿大学计算机科学系助理教授,研究跨越自然语言处理和强化学习。

成为VIP会员查看完整内容
0
71

课程名称: CS224W: Machine Learning with Graphs

课程简介:

网络是对复杂的社会、技术和生物系统建模的基本工具。结合在线社交网络的出现和生物科学中大规模数据的可用性,本课程重点分析提供了几个计算、算法和建模挑战的大规模网络。学生将学习机器学习技术和数据挖掘工具,通过研究其潜在的网络结构和相互联系,揭示对社会、技术和自然世界的洞察。

在本课程中,我们将介绍图机器学习技术,包括以下主题:

  • 食品网络和金融市场的稳固性和脆弱性;
  • 万维网的算法;
  • 图神经网络与表示学习
  • 生物网络功能模块的识别
  • 疾病暴发检测。

课程部分大纲:

  • 介绍:图结构
  • 网络的性质和随机图模型
    • 复习课:Snap.py和谷歌云教程
  • 网络中的主题和结构角色
  • 网络中的社区结构
    • 复习线性代数,概率论和证明技术
  • 谱聚类
  • 消息传递和节点分类
  • 图表示学习
  • 图神经网络
  • 图神经网络:动手练习
  • 图的深层生成模型
  • 链接分析:网页排名
  • 网络效应和级联行为
  • 概率传染和影响模型

讲师介绍:

Jurij Leskovec是斯坦福大学计算机科学副教授,研究侧重于分析和建模大型社区和信息网络,作为跨社区、技术和自然世界现象的研究。他侧重于网络结构的统计建模、网络演化、信息传播、网络影响和病毒。他所研究的问题是由大规模数据、网络和其他在线媒体引发的,同样从事文本挖掘和机器学习的应用。个人官网:https://cs.stanford.edu/~jure/

下载索引:链接:https://pan.baidu.com/s/1yvK49SCfmqIXkHMgNqRYYA;提取码:4rea

成为VIP会员查看完整内容
0
121

课程名称: CS276: Information Retrieval and Web Search(Spring quarter 2019

课程简介: 信息检索(Information Retrieval)是用户进行信息查询和获取的主要方式,是查找信息的方法和手段。 IR是自然语言处理(NLP)领域中的第一个,并且仍然是最重要的问题之一。 网络搜索是将信息检索技术应用于世界上最大的文本语料库-网络-这是大多数人最频繁地与IR系统交互的区域。

在本课程中,我们将介绍构建基于文本的信息系统的基本和高级技术,包括以下主题:

  • 高效的文本索引
  • 布尔和向量空间检索模型
  • 评估和界面问题
  • Web的IR技术,包括爬网,基于链接的算法和元数据使用
  • 文档聚类和分类
  • 传统和基于机器学习的排名方法

讲师介绍: Christopher Manning,SAIL 新任负责人,Christopher Manning于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。 Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

Pandu Nayak,谷歌工程师,负责信息检索方面的研究。 在加入Google之前,我曾是Stratify,Inc.的首席架构师和首席技术官。在那里,帮助开发了成功的Stratify Legal Discovery服务。

成为VIP会员查看完整内容
0
35

主题: Introduction to Machine Learning

课程简介: 机器学习是指通过经验自动提高性能的计算机程序(例如,学习识别人脸、推荐音乐和电影以及驱动自主机器人的程序)。本课程从不同的角度介绍机器学习的理论和实用算法。主题包括贝叶斯网络、决策树学习、支持向量机、统计学习方法、无监督学习和强化学习。本课程涵盖理论概念,例如归纳偏差、PAC学习框架、贝叶斯学习方法、基于边际的学习和Occam的剃刀。编程作业包括各种学习算法的实际操作实验。这门课程的目的是让一个研究生在方法论,技术,数学和算法方面有一个彻底的基础,目前需要的人谁做的机器学习的研究。

邀请嘉宾: Hal Daumé III,纽约市微软研究院的研究员,是机器学习小组的一员;他也是马里兰大学的副教授。他主要从事自然语言处理和机器学习。

Matt Gormley,卡内基梅隆大学计算机科学学院机器学习部(ML)助教。

Roni Rosenfeld,卡内基梅隆大学计算机学院机器学习系教授兼主任,个人主页:https://www.cs.cmu.edu/~roni/。等

成为VIP会员查看完整内容
0
39
小贴士
相关VIP内容
专知会员服务
71+阅读 · 2020年5月25日
【哈佛《CS50 Python人工智能入门》课程 (2020)】
专知会员服务
79+阅读 · 2020年4月12日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
71+阅读 · 2019年12月11日
【CMU】机器学习导论课程(Introduction to Machine Learning)
专知会员服务
39+阅读 · 2019年8月26日
相关论文
Xuankai Chang,Wangyou Zhang,Yanmin Qian,Jonathan Le Roux,Shinji Watanabe
8+阅读 · 2020年2月13日
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
17+阅读 · 2019年9月17日
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
4+阅读 · 2019年8月22日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
11+阅读 · 2019年5月24日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Improving Neural Question Generation using Answer Separation
Yanghoon Kim,Hwanhee Lee,Joongbo Shin,Kyomin Jung
3+阅读 · 2018年9月7日
Xinya Du,Claire Cardie
3+阅读 · 2018年5月15日
Sibo Tong,Philip N. Garner,Hervé Bourlard
7+阅读 · 2018年1月23日
Christian Buck,Jannis Bulian,Massimiliano Ciaramita,Wojciech Gajewski,Andrea Gesmundo,Neil Houlsby,Wei Wang
6+阅读 · 2018年1月23日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Top