课程名称: CS276: Information Retrieval and Web Search(Spring quarter 2019

课程简介: 信息检索(Information Retrieval)是用户进行信息查询和获取的主要方式,是查找信息的方法和手段。 IR是自然语言处理(NLP)领域中的第一个,并且仍然是最重要的问题之一。 网络搜索是将信息检索技术应用于世界上最大的文本语料库-网络-这是大多数人最频繁地与IR系统交互的区域。

在本课程中,我们将介绍构建基于文本的信息系统的基本和高级技术,包括以下主题:

  • 高效的文本索引
  • 布尔和向量空间检索模型
  • 评估和界面问题
  • Web的IR技术,包括爬网,基于链接的算法和元数据使用
  • 文档聚类和分类
  • 传统和基于机器学习的排名方法

讲师介绍: Christopher Manning,SAIL 新任负责人,Christopher Manning于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。 Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

Pandu Nayak,谷歌工程师,负责信息检索方面的研究。 在加入Google之前,我曾是Stratify,Inc.的首席架构师和首席技术官。在那里,帮助开发了成功的Stratify Legal Discovery服务。

成为VIP会员查看完整内容
0
35

相关内容

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

课程链接:http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

  • Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

  • Michael A. Nielsen. Neural Networks and Deep Learning

  • Eugene Charniak. Introduction to Deep Learning

5. 主讲:Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授,斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物,在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法,包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》(Manning and Schütze 1999)和《信息检索》(Manning,Raghavan and Schütze,2008)两本领先的教科书,还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow,AAAI Fellow,ACL Fellow,也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年,他在澳大利亚国立大学获得学士学位,在斯坦福大学获得博士学位。在回到斯坦福大学之前,他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人,负责斯坦福大学CoreNLP软件的开发。

个人主页:https://nlp.stanford.edu/~manning/

6. 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

 Gensim字矢量示例(Gensim word vectors example)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

PPT下载链接:https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码:re2l

成为VIP会员查看完整内容
0
56

课程简介: 本课程将向学生介绍NLP的基础知识,涵盖处理自然语言的标准框架以及解决各种NLP问题的算法和技术,包括最新的深度学习方法。 涵盖的主题包括语言建模,表示学习,文本分类,序列标记,语法解析,机器翻译,问题解答等。

课程安排:

  • 概述与简介
  • 语言模型
  • 文本分类
  • 线性模型
  • 词嵌入
  • 神经网络基础
  • 序列模型
  • EM模型
  • RNN神经语言模型
  • 解析介绍
  • 机器翻译
  • 神经机器翻译
  • 文本词嵌入
  • 问答系统
  • 对话系统
  • 嘉宾讲座

嘉宾介绍:

陈丹琦,普林斯顿大学计算机科学的助理教授,在此之前,是西雅图Facebook AI Research(FAIR)的访问科学家。 斯坦福大学计算机科学系获得博士学位,并在斯坦福NLP集团工作。研究方向:自然语言处理,文本理解、知识解释。

Karthik Narasimhan,普林斯顿大学计算机科学系助理教授,研究跨越自然语言处理和强化学习。

成为VIP会员查看完整内容
0
71

课程题目

From Languages to Information

课程内容

《从语言到信息》是一门(半)翻转的课程,有很多在线材料。大部分讲座都有录像,你可以在家里看。每周的测验和编程作业将自动上传和评分EdX提供讲座、测验和家庭作业。网络世界以语言和社交网络的形式存在着大量的非结构化信息。学习如何理解它,以及如何通过语言与人类互动,从回答问题到给出建议。从人类语言文本、语音、网页、社交网络中提取意义、信息和结构。介绍方法(字符串算法、编辑距离、语言建模、机器学习分类器、神经嵌入、倒排索引、协作过滤、PageRank)、应用(聊天机器人、情感分析、信息检索、问答、文本分类、社交网络、推荐系统),以及两者的伦理问题。

课程嘉宾

Dan Jurafsky ,人文学科教授,斯坦福大学计算机科学教授兼语言学主席,研究自然语言处理及其在认知和社会科学中的应用。

成为VIP会员查看完整内容
0
14

报告主题:Recent Breakthroughs in Natural Language Processing

报告摘要:自然语言处理是计算机科学、语言学和机器学习的交叉点,它关注计算机与人类之间使用自然语言中的沟通交流。总之,NLP致力于让计算机能够理解和生成人类语言。NLP技术应用于多个领域,比如天猫精灵和Siri这样的语音助手,还有机器翻译和文本过滤等。机器学习是受NLP影响最深远的领域之一,尤为突出的是深度学习技术。该领域分为以下三个部分:语音识别、自然语言理解、自然语言生成。本次报告结合NLP的最新突破,分别剖析不同领域的研究进展,并对未来的研究方向作出简单概述。

邀请嘉宾:Christopher Manning,SAIL 新任负责人,于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。

Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

成为VIP会员查看完整内容
2019-10-31-02-01-Christopher-Manning.pdf
0
6

简介: 该研讨会的主要目标是双重的。 首先是对可视化问答和可视对话的进度进行基准测试。本次研讨会的第二个目标是将对可视化问答,对话系统和语言感兴趣的研究人员聚集在一起,以共享最新技术和未来方向。 除了邀请知名研究人员发表演讲包括:视觉问题解答,视觉对话,(文字)问题解答,(文字)对话系统,常识性知识, 视觉+语言等。

部分嘉宾介绍: Christopher Manning,SAIL 新任负责人,Christopher Manning于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。 Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

Karl Moritz Hermann,DeepMind的研究科学家。 在此之前,曾担任过Dark Blue Labs的首席执行官。 在进入行业之前,是牛津大学CLG的计算语言学和机器学习的博士后研究员,并在Stephen Pulman和Phil Blunsom的指导下完成了DPhil。 研究方向是ML和CL、 自然语言理解,并且正在尝试通过对基础语言习得的研究来在这一领域取得进展。

成为VIP会员查看完整内容
0
14
小贴士
相关VIP内容
专知会员服务
68+阅读 · 2020年5月25日
【哈佛《CS50 Python人工智能入门》课程 (2020)】
专知会员服务
79+阅读 · 2020年4月12日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
71+阅读 · 2019年12月11日
相关论文
Shuo Zhang,Krisztian Balog
7+阅读 · 2020年2月5日
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
4+阅读 · 2019年8月22日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Binary Constrained Deep Hashing Network for Image Retrieval without Manual Annotation
Thanh-Toan Do,Khoa Le,Trung Pham,Tuan Hoang,Huu Le,Ngai-Man Cheung,Ian Reid
3+阅读 · 2018年8月2日
Xiangyu Zhao,Long Xia,Liang Zhang,Zhuoye Ding,Dawei Yin,Jiliang Tang
6+阅读 · 2018年5月7日
Yang Fu,Yunchao Wei,Yuqian Zhou,Honghui Shi,Gao Huang,Xinchao Wang,Zhiqiang Yao,Thomas Huang
3+阅读 · 2018年4月30日
Markus Schedl,Hamed Zamani,Ching-Wei Chen,Yashar Deldjoo,Mehdi Elahi
7+阅读 · 2018年3月21日
Ilya Musabirov,Denis Bulygin,Paul Okopny,Ksenia Konstantinova
4+阅读 · 2018年1月9日
Huan Zhao,Quanming Yao,Yangqiu Song,James Kwok,Dik Lun Lee
10+阅读 · 2018年1月8日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Top