自然语言处理技术试图用计算机模拟人类语言,解决从自动翻译到问答等各种各样的问题。CS11-711高级自然语言处理(在卡耐基梅隆大学的语言技术研究所)是一门自然语言处理的入门级研究生课程,目标是有兴趣在该领域进行前沿研究的学生。其中,我们描述了自然语言处理的基本任务,如句法、语义和篇章分析,以及解决这些任务的方法。本课程着重于使用神经网络的现代方法,并涵盖基本的建模和学习所需的算法。课程以一个项目结束,在这个项目中,学生试图在他们选择的主题中重新实施和改进一篇研究论文。

http://phontron.com/class/anlp2021/schedule.html

高级自然语言处理是一门关于自然语言处理的入门级研究生课程,面向有志于在该领域进行前沿研究的学生。其中,我们描述了自然语言处理的基本任务,如句法、语义和篇章分析,以及解决这些任务的方法。本课程着重于使用神经网络的现代方法,并涵盖基本的建模和学习所需的算法。课程以一个项目结束,在这个项目中,学生试图在他们选择的主题中重新实施和改进一篇研究论文。

目录内容:

引言

 Intro 1 - NLP 概述 Overview of NLP (8/31/2021)
 Intro 2 - 文本分类 Text Classification (9/2/2021)
 Intro 3 - 语言建模 Language Modeling and NN Basics (9/7/2021)
 Intro 4 - 神经网络基础 Neural Network Basics and Toolkit Construction (9/9/2021)

建模

Modeling 1 - 循环神经网络 Recurrent Networks (9/14/2021) Modeling 2 - 条件生成 Conditioned Generation (9/16/2021) Modeling 3 - 注意力机制 Attention (9/21/2021)

表示

Representation 1 - 预训练方法 Pre-training Methods (9/23/2021) Representation 2 - 多任务多领域Multi-task, Multi-domain, and Multi-lingual Learning (9/28/2021) Representation 3 - 提示学习Prompting + Sequence-to-sequence Pre-training (9/30/2021) Representation 4 - Interpreting and Debugging NLP Models (10/5/2021) Modeling 4 - 序列标注 Sequence Labeling (10/7/2021)

分析

Analysis 1 - Word Segmentation and Morphology (10/12/2021) Break -- No Class! (10/14/2021) Analysis 2 - Syntactic Parsing (10/19/2021) Analysis 3 - Semantic Parsing (10/21/2021) Analysis 4 - Discourse Structure and Analysis (10/26/2021)

应用

Applications 1 - 机器阅读Machine Reading QA (10/28/2021) Applications 2 - Dialog (11/02/2021) Applications 3 - Computational Social Science, Bias and Fairness (11/4/2021) Applications 4 - Information Extraction and Knowledge-based QA (11/9/2021)

学习

Learning 1 - Modeling Long Sequences (11/11/2021) Learning 2 - Structured Learning Algorithms (11/16/2021) Learning 3 - Latent Variable Models (11/18/2021) Learning 4 - Adversarial Methods for Text (11/23/2021) Thanksgiving -- No Class!! (11/25/2021) Poster Presentations (11/30/2021 and 12/2/2021)

成为VIP会员查看完整内容
0
31

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中,许多问题都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这一范围广泛的问题提供了一个统一的视图,能够在具有大量属性和巨大数据集的问题中进行有效的推理、决策和学习。这门研究生水平的课程将为您在复杂问题中运用图模型中解决核心研究主题提供坚实的基础。本课程将涵盖三个方面: 核心表示,包括贝叶斯网络和马尔科夫网络,以及动态贝叶斯网络;概率推理算法,包括精确和近似; 以及图模型的参数和结构的学习方法。进入这门课程的学生应该预先具备概率、统计学和算法的工作知识,尽管这门课程的设计是为了让有较强数学背景的学生赶上并充分参与。希望通过本课程的学习,学生能够获得足够的实际应用的多变量概率建模和推理的工作知识,能够用通用模型在自己的领域内制定和解决广泛的问题。并且可以自己进入更专业的技术文献。

成为VIP会员查看完整内容
0
40

这门研究生水平的课程将专注于NLP框架、算法和方法的高级研究,包括语言建模、文本分类、机器翻译和问题回答等最先进的技术。本课程将包括多种编程作业、论文阅读、期中和期末专题。在这门课之前,学生应该至少学习过一门自然语言处理/机器学习的入门课程,并且熟悉Python编程。

本课程包括相关主题的介绍性讲座。这些讲座是和COS 484联合的,请看这里的课程安排。

https://princeton-nlp.github.io/cos484/cos584.html

Date Topics Fri (2/5) Language Models Fri (2/12) Text classification Fri (2/19) Word embeddings Fri (2/26) Feedforward Neural Networks Fri (3/5) Conditional Random Fields Fri (3/12) No meeting (midterm) Fri (3/19) Recurrent neural networks and neural language models Fri (3/26) Dependency parsing Fri (4/2) Machine translation Fri (4/9) Transformers Fri (4/16) Pre-training Fri (4/23) Language Grounding

成为VIP会员查看完整内容
0
65

机器学习涉及的是通过经验自动提高其性能的计算机程序(例如,学习人脸识别,推荐音乐和电影,以及驱动自主机器人的程序)。本课程从多种角度涵盖了机器学习的理论和实际算法。我们涵盖了贝叶斯网络、决策树学习、支持向量机、统计学习方法、无监督学习和强化学习等主题。课程涵盖的理论概念如归纳偏差,PAC学习框架,贝叶斯学习方法,基于边际的学习,和奥卡姆剃刀。编程作业包括各种学习算法的动手实验。本课程旨在为研究生提供机器学习研究人员所需要的方法论、技术、数学和算法的全面基础知识。

学习成果: 课程结束时,学生应能够:

实现并分析现有的学习算法,包括为分类、回归、结构预测、聚类和表示学习而充分研究的方法 将实际机器学习的多个方面集成到一个系统中:数据预处理、学习、正则化和模型选择 描述学习模型和算法的形式属性,并解释这些结果的实际含义 比较和对比不同的学习范式(监督的、非监督的,等等) 设计实验评估和比较不同的机器学习技术在现实世界的问题 运用概率论、统计学、微积分、线性代数和最优化来开发新的预测模型或学习方法 给出一种ML技术的描述,分析它,确定(1)形式主义的表达能力;(2)算法中隐含的归纳偏差;(3)搜索空间

参考书籍:

Machine Learning, Tom Mitchell. Machine Learning: a Probabilistic Perspective, Kevin Murphy. Full online access is free through CMU’s library – for the second link, you must be on CMU’s network or VPN. A Course in Machine Learning, Hal Daumé III. Online only.

目录内容: Classification & Regression Linear Models 深度学习 强化学习 生成模型 概率图模型 学习理论 学习方式

成为VIP会员查看完整内容
0
50

本课程以计算机科学的方式介绍自动语音识别,以及正确转录语音的问题。描述包括创建大规模语音识别系统的基本算法。所提出的算法和技术目前已在大多数研究和工业系统中得到应用。

目前在自然语言处理、计算生物学和机器学习的其他应用领域中使用的许多学习和搜索算法和技术,最初都是为解决语音识别问题而设计的。语音识别继续给计算机科学带来挑战性的问题,特别是因为它产生的学习和搜索问题的规模。

因此,本课程的目的不仅仅是让学生熟悉语音识别中使用的特定算法,而是以此为基础来探索一般的文本和语音,以及与计算机科学其他领域相关的机器学习算法。本课程将利用几个软件库,并将研究这一领域的最新研究和出版物。

目录内容:

  • Lecture 01: introduction to speech recognition, statistical formulation.
  • Lecture 02: finite automata and transducers.
  • Lecture 03: weighted transducer algorithms.
  • Lecture 04: weighted transducer software library.
  • Lecture 05: n-gram language models.
  • Lecture 06: language modeling software library.
  • Lecture 07: maximum entropy (Maxent) models.
  • Lecture 08: expectation-maximization (EM) algorithm, hidden Markov models (HMMs).
  • Lecture 09: acoustic models, Gaussian mixture models.
  • Lecture 10: pronunciation models, decision trees, context-dependent models.
  • Lecture 11: search algorithms, transducer optimizations, Viterbi decoder.
  • Lecture 12: n-best algorithms, lattice generation, rescoring.
  • Lecture 13: discriminative training (invited lecture: Murat Saraclar).
  • Lecture 14: structured prediction algorithms.
  • Lecture 15: adaptation.
  • Lecture 16: active learning.
  • Lecture 17: semi-supervised learning.

https://cs.nyu.edu/~mohri/asr12/

成为VIP会员查看完整内容
0
31

以深度神经网络为代表的“深度学习”系统正越来越多地接管所有人工智能任务,从语言理解、语音和图像识别,到机器翻译、规划,甚至是游戏和自动驾驶。因此,在许多高级学术机构中,深度学习的专业知识正从深奥的要求迅速转变为强制性的先决条件,并成为工业就业市场的一大优势。

在本课程中,我们将学习深度神经网络的基础知识,以及它们在各种人工智能任务中的应用。在本课程结束时,预计学生将对这门学科非常熟悉,并能够将深度学习应用于各种任务。他们也将被定位去理解关于这个主题的许多当前的文献,并通过进一步的学习来扩展他们的知识。

如果你只对课程感兴趣,你可以在YouTube频道上观看。

https://deeplearning.cs.cmu.edu/F20/

成为VIP会员查看完整内容
0
49

【导读】陈丹琦博士是自然语言处理研究员领域的新星大神,她从斯坦福毕业后,到普林斯顿大学任助理教授。她将深度学习用于一系列自然语言处理重要问题,帮助机器获取知识、更好地回答问题。她开设了COS 598C (Winter 2020)课程,深度学习自然语言处理, Deep Learning for Natural Language Processing,共有21讲,讲解最新NLP进展,非常值得follow。

本课程旨在介绍自然语言处理的前沿深度学习方法。本课程的主题包括词的嵌入/上下文化的词的嵌入、预训练和微调、机器翻译、问题回答、摘要、信息提取、语义分析和对话系统等。我们对每个主题进行了深入的讨论,并讨论了最近关于每个主题的重要论文,包括背景、方法、评价、目前的局限性和未来的发展方向。学生应定期阅读和提交研究论文,并完成一篇期末论文。

学习目标:

本课程旨在为您在自然语言处理方面的前沿研究做准备。我们将讨论在NLP的每个子领域中最有影响力的想法,最先进的技术和我们今天面临的主要问题。

练习你的研究技能,包括阅读研究论文,进行文献调查,口头和书面报告,以及提供建设性的反馈。

成为VIP会员查看完整内容
0
123
小贴士
相关资讯
相关论文
El Moatez Billah Nagoudi,AbdelRahim Elmadany,Muhammad Abdul-Mageed
0+阅读 · 10月22日
Peng Cui,Dongyao Hu,Le Hu
0+阅读 · 10月22日
Simon Alford,Anshula Gandhi,Akshay Rangamani,Andrzej Banburski,Tony Wang,Sylee Dandekar,John Chin,Tomaso Poggio,Peter Chin
0+阅读 · 10月22日
Yanci Zhang,Tianming Du,Yujie Sun,Lawrence Donohue,Rui Dai
0+阅读 · 10月19日
Jialin Gao,Xin Sun,Mengmeng Xu,Xi Zhou,Bernard Ghanem
0+阅读 · 10月18日
Xiaokai Wei,Shen Wang,Dejiao Zhang,Parminder Bhatia,Andrew Arnold
0+阅读 · 10月16日
Katikapalli Subramanyam Kalyan,Ajit Rajasekharan,Sivanesan Sangeetha
16+阅读 · 8月12日
Hui Liu,Qingyu Yin,William Yang Wang
3+阅读 · 2019年6月11日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Phu Mon Htut,Samuel R. Bowman,Kyunghyun Cho
5+阅读 · 2018年4月12日
Top