这是100篇重要的自然语言处理(NLP)论文的列表,在这一领域工作的认真的学生和研究人员应该知道和阅读。

这个列表最初是基于我几年前在Quora上发布的一个问题的答案:什么是所有NLP学生肯定应该阅读的最重要的研究论文?我感谢所有为原文做出贡献的人。

这个列表远远不够完整,也不够客观,而且还在不断发展,因为重要的论文年复一年地发表。请让我知道通过拉请求和问题,如果什么是缺失。

论文不一定非得是同行评议的会议或期刊论文才会出现在这里。我们还包括指南/调查风格的论文和博客文章,通常比原始论文更容易理解。

http://masatohagiwara.net/100-nlp-papers/

100 Must-Read NLP Papers

This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and read. This list is compiled by Masato Hagiwara. I welcome any feedback on this list.

This list is originally based on the answers for a Quora question I posted years ago: What are the most important research papers which all NLP students should definitely read?. I thank all the people who contributed to the original post.

This list is far from complete or objective, and is evolving, as important papers are being published year after year. Please let me know via pull requests and issues if anything is missing.

A paper doesn't have to be a peer-reviewed conference/journal paper to appear here. We also include tutorial/survey-style papers and blog posts that are often easier to understand than the original papers.

Machine Learning

  • Avrim Blum and Tom Mitchell: Combining Labeled and Unlabeled Data with Co-Training, 1998.

  • John Lafferty, Andrew McCallum, Fernando C.N. Pereira: Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data, ICML 2001.

  • Charles Sutton, Andrew McCallum. An Introduction to Conditional Random Fields for Relational Learning.

  • Kamal Nigam, et al.: Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 1999.

  • Kevin Knight: Bayesian Inference with Tears, 2009.

  • Marco Tulio Ribeiro et al.: "Why Should I Trust You?": Explaining the Predictions of Any Classifier, KDD 2016.

  • Marco Tulio Ribeiro et al.: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, ACL 2020.

Neural Models

  • Richard Socher, et al.: Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection, NIPS 2011.

  • Ronan Collobert et al.: Natural Language Processing (almost) from Scratch, J. of Machine Learning Research, 2011.

  • Richard Socher, et al.: Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank, EMNLP 2013.

  • Xiang Zhang, Junbo Zhao, and Yann LeCun: Character-level Convolutional Networks for Text Classification, NIPS 2015.

  • Yoon Kim: Convolutional Neural Networks for Sentence Classification, 2014.

  • Christopher Olah: Understanding LSTM Networks, 2015.

  • Matthew E. Peters, et al.: Deep contextualized word representations, 2018.

  • Jacob Devlin, et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018.

  • Yihan Liu et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2020.

Clustering & Word/Sentence Embeddings

  • Peter F Brown, et al.: Class-Based n-gram Models of Natural Language, 1992.

  • Tomas Mikolov, et al.: Efficient Estimation of Word Representations in Vector Space, 2013.

  • Tomas Mikolov, et al.: Distributed Representations of Words and Phrases and their Compositionality, NIPS 2013.

  • Quoc V. Le and Tomas Mikolov: Distributed Representations of Sentences and Documents, 2014.

  • Jeffrey Pennington, et al.: GloVe: Global Vectors for Word Representation, 2014.

  • Ryan Kiros, et al.: Skip-Thought Vectors, 2015.

  • Piotr Bojanowski, et al.: Enriching Word Vectors with Subword Information, 2017.

  • Daniel Cer et al.: Universal Sentence Encoder, 2018.

Topic Models

  • Thomas Hofmann: Probabilistic Latent Semantic Indexing, SIGIR 1999.

  • David Blei, Andrew Y. Ng, and Michael I. Jordan: Latent Dirichlet Allocation, J. Machine Learning Research, 2003.

Language Modeling

  • Joshua Goodman: A bit of progress in language modeling, MSR Technical Report, 2001.

  • Stanley F. Chen and Joshua Goodman: An Empirical Study of Smoothing Techniques for Language Modeling, ACL 2006.

  • Yee Whye Teh: A Hierarchical Bayesian Language Model based on Pitman-Yor Processes, COLING/ACL 2006.

  • Yee Whye Teh: A Bayesian interpretation of Interpolated Kneser-Ney, 2006.

  • Yoshua Bengio, et al.: A Neural Probabilistic Language Model, J. of Machine Learning Research, 2003.

  • Andrej Karpathy: The Unreasonable Effectiveness of Recurrent Neural Networks, 2015.

  • Yoon Kim, et al.: Character-Aware Neural Language Models, 2015.

  • Alec Radford, et al.: Language Models are Unsupervised Multitask Learners, 2018.

Segmentation, Tagging, Parsing

  • Donald Hindle and Mats Rooth. Structural Ambiguity and Lexical Relations, Computational Linguistics, 1993.

  • Adwait Ratnaparkhi: A Maximum Entropy Model for Part-Of-Speech Tagging, EMNLP 1996.

  • Eugene Charniak: A Maximum-Entropy-Inspired Parser, NAACL 2000.

  • Michael Collins: Discriminative Training Methods for Hidden Markov Models: Theory and Experiments with Perceptron Algorithms, EMNLP 2002.

  • Dan Klein and Christopher Manning: Accurate Unlexicalized Parsing, ACL 2003.

  • Dan Klein and Christopher Manning: Corpus-Based Induction of Syntactic Structure: Models of Dependency and Constituency, ACL 2004.

  • Joakim Nivre and Mario Scholz: Deterministic Dependency Parsing of English Text, COLING 2004.

  • Ryan McDonald et al.: Non-Projective Dependency Parsing using Spanning-Tree Algorithms, EMNLP 2005.

  • Daniel Andor et al.: Globally Normalized Transition-Based Neural Networks, 2016.

  • Oriol Vinyals, et al.: Grammar as a Foreign Language, 2015.

Sequential Labeling & Information Extraction

  • Marti A. Hearst: Automatic Acquisition of Hyponyms from Large Text Corpora, COLING 1992.

  • Collins and Singer: Unsupervised Models for Named Entity Classification, EMNLP 1999.

  • Patrick Pantel and Dekang Lin, Discovering Word Senses from Text, SIGKDD, 2002.

  • Mike Mintz et al.: Distant supervision for relation extraction without labeled data, ACL 2009.

  • Zhiheng Huang et al.: Bidirectional LSTM-CRF Models for Sequence Tagging, 2015.

  • Xuezhe Ma and Eduard Hovy: End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF, ACL 2016.

Machine Translation & Transliteration, Sequence-to-Sequence Models

  • Peter F. Brown et al.: A Statistical Approach to Machine Translation, Computational Linguistics, 1990.

  • Kevin Knight, Graehl Jonathan. Machine Transliteration. Computational Linguistics, 1992.

  • Dekai Wu: Inversion Transduction Grammars and the Bilingual Parsing of Parallel Corpora, Computational Linguistics, 1997.

  • Kevin Knight: A Statistical MT Tutorial Workbook, 1999.

  • Kishore Papineni, et al.: BLEU: a Method for Automatic Evaluation of Machine Translation, ACL 2002.

  • Philipp Koehn, Franz J Och, and Daniel Marcu: Statistical Phrase-Based Translation, NAACL 2003.

  • Philip Resnik and Noah A. Smith: The Web as a Parallel Corpus, Computational Linguistics, 2003.

  • Franz J Och and Hermann Ney: The Alignment-Template Approach to Statistical Machine Translation, Computational Linguistics, 2004.

  • David Chiang. A Hierarchical Phrase-Based Model for Statistical Machine Translation, ACL 2005.

  • Ilya Sutskever, Oriol Vinyals, and Quoc V. Le: Sequence to Sequence Learning with Neural Networks, NIPS 2014.

  • Oriol Vinyals, Quoc Le: A Neural Conversation Model, 2015.

  • Dzmitry Bahdanau, et al.: Neural Machine Translation by Jointly Learning to Align and Translate, 2014.

  • Minh-Thang Luong, et al.: Effective Approaches to Attention-based Neural Machine Translation, 2015.

  • Rico Sennrich et al.: Neural Machine Translation of Rare Words with Subword Units. ACL 2016.

  • Yonghui Wu, et al.: Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016.

  • Melvin Johnson, et al.: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation, 2016.

  • Jonas Gehring, et al.: Convolutional Sequence to Sequence Learning, 2017.

  • Ashish Vaswani, et al.: Attention Is All You Need, 2017.

Coreference Resolution

  • Vincent Ng: Supervised Noun Phrase Coreference Research: The First Fifteen Years, ACL 2010.

  • Kenton Lee at al.: End-to-end Neural Coreference Resolution, EMNLP 2017.

Automatic Text Summarization

  • Kevin Knight and Daniel Marcu: Summarization beyond sentence extraction. Artificial Intelligence 139, 2002.

  • James Clarke and Mirella Lapata: Modeling Compression with Discourse Constraints. EMNLP-CONLL 2007.

  • Ryan McDonald: A Study of Global Inference Algorithms in Multi-Document Summarization, ECIR 2007.

  • Wen-tau Yih et al.: Multi-Document Summarization by Maximizing Informative Content-Words. IJCAI 2007.

  • Alexander M Rush, et al.: A Neural Attention Model for Sentence Summarization. EMNLP 2015.

  • Abigail See et al.: Get To The Point: Summarization with Pointer-Generator Networks. ACL 2017.

Question Answering and Machine Comprehension

  • Pranav Rajpurkar et al.: SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP 2015.

  • Minjoon Soo et al.: Bi-Directional Attention Flow for Machine Comprehension. ICLR 2015.

Generation, Reinforcement Learning

  • Jiwei Li, et al.: Deep Reinforcement Learning for Dialogue Generation, EMNLP 2016.

  • Marc’Aurelio Ranzato et al.: Sequence Level Training with Recurrent Neural Networks. ICLR 2016.

  • Samuel R Bowman et al.: Generating sentences from a continuous space, CoNLL 2016.

  • Lantao Yu, et al.: SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient, AAAI 2017.

成为VIP会员查看完整内容
0
68

相关内容

【导读】计算语言学协会(the Association for Computational Linguistics, ACL)年度会议作为顶级的国际会议,在计算语言学和自然语言处理领域一直备受关注。今年,第58届计算语言学协会(the Association for Computational Linguistics, ACL)年度会议将于2020年7月5日至10日在美国华盛顿西雅图举行。受COVID-19疫情影响,ACL 2020将全部改为线上举行。本次ACL大会共提交了3429篇论文,共有571篇长论文、以及208篇短论文入选。不久之前,专知小编为大家整理了大会的图神经网络(GNN)相关论文,上周,专知小编为大家整理了大会的图神经网络(GNN)相关论文,这期小编继续为大家奉上ACL 2020知识图谱表示学习(KGR)相关论文供参考——开放域知识图谱嵌入、Multi-hop QA、双曲嵌入、图上下文建模、SEEK ACL2020GNN_Part2、ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Can We Predict New Facts with Open Knowledge Graph Embeddings? A Benchmark for Open Link Prediction

作者:Samuel Broscheit, Kiril Gashteovski, Yanjie Wang, Rainer Gemulla

摘要:开放式信息抽取系统从原始文本中抽取(“主体文本”、“关系文本”、“客体文本”)三元组。有些三元组是事实的文本版本,即对实体和关系的非规范化提及。在这篇文章中,我们调查是否有可以不需要对精选的知识进行任何规范化或监督,直接从开放的知识图中推断出新的事实。为此,我们提出了一个open的链接预测任务,即通过补全(“主体文本”,“关系文本”,?)来预测测试事实问题。在这样设置中的评估提出了如下这个问题:正确的预测是由开放域知识图上的推理所诱导的新事实,还是说可以简单地解释。例如,事实可能出现在不同的措辞文本变体中。为此,我们提出了一种评估协议和建立了开放域链接预测基准的方法--OLPBENCH。我们使用一个用于开放域链接预测的典型知识图嵌入模型进行了实验。虽然这项任务非常具有挑战性,但我们的结果表明,预测真正的新事实是可能的,并且这是不能简单解释的。

网址: https://www.uni-mannheim.de/media/Einrichtungen/dws/Files_People/Profs/rgemulla/publications/broscheit20-olpbench.pdf

2. Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings

作者:Apoorv Saxena, Aditay Tripathi, Partha Talukdar

摘要:知识图(KG)是由实体作为节点,实体之间的关系作为类型边组成的多关系图。KGQA任务的目标是回答在KG上提出的自然语言问题。多跳(Multi-hop)KGQA需要在KG的多个边上进行推理才能得到正确的答案。KG通常是不完整的,有许多缺失的链接,这给KGQA带来了额外的挑战,特别是对于多跳KGQA。最近关于多跳KGQA的研究试图使用相关的外部文本来处理KG稀疏性,但这并不总是容易获得的。在另一项研究中,已经提出了通过执行缺失链接预测来降低KG稀疏的KG嵌入方法。这种KG嵌入方法虽然高度相关,但到目前为止还没有被探索用于多跳KGQA。本文填补了这一空白,提出了EmbedKGQA。EmbedKGQA在稀疏KG上执行多跳KGQA特别有效。EmbedKGQA还放宽了从预先确定的邻域中选择答案的要求,这是以前的多跳KGQA方法实施的次优约束。通过在多个基准数据集上的广泛实验,我们证明了EmbedKGQA在其他最先进的基线上的有效性。

网址: https://malllabiisc.github.io/publications/papers/final_embedkgqa.pdf

代码链接:

https://github.com/malllabiisc/EmbedKGQA

3. Low-Dimensional Hyperbolic Knowledge Graph Embeddings

作者:Ines Chami, Adva Wolf, Da-Cheng Juan, Frederic Sala, Sujith Ravi, Christopher Ré

摘要:知识图(KG)嵌入学习实体和关系的低维表示,用于预测另外实体或者补全关系。KG通常表现出必须保留在嵌入空间中的分层和逻辑模式。对于分层数据,双曲嵌入(hyperbolic embedding)方法在高保真和简约表示方面显示出了希望。然而,现有的双曲嵌入方法没有考虑KG中丰富的逻辑模式。在这项工作中,我们引入了一类同时捕捉层次模式和逻辑模式的双曲KG嵌入模型。我们的方法结合了双曲线反射和旋转,并注意建模复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的MRR(mean reciprocal rank)上比以前的基于欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕获不同类型的关系,而基于注意力的变换概括为多个关系。在高维方面,我们的方法在WN18RR上的MRR为49.6%,在YAGO3-10上的MRR为57.7%。

网址: https://arxiv.org/abs/2005.00545

4. Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding

作者:Yun Tang, Jing Huang, Guangtao Wang, Xiaodong He, Bowen Zhou

摘要:基于距离的知识图嵌入已经在知识图链接预测任务上有了实质性的改进,从TransE到目前最先进的RotatE。然而,诸如 N-to-1, 1-to-N和N-to-N的复杂关系仍然难以预测。在这项工作中,我们提出了一种新的基于距离的知识图链接预测方法。首先,通过对模型关系的正交变换,将RotatE从二维复数域扩展到高维空间。关系的正交变换嵌入保持了对于对称/反对称关系、逆关系和复合关系的建模能力,同时具有更好的建模能力。其次,将图形上下文直接集成到距离评分函数中。具体地说,图上下文是通过两个有向上下文表示来显式建模的。嵌入到知识图中的每个节点都增加了两个上下文表示,这两个上下文表示分别从相邻的传出节点/边和传入节点/边计算得到。该方法提高了N-to-1, 1-to-N和N-to-N情况下的预测精度。实验结果表明,该算法在两个常用的基准测试FB15k237和WNRR-18上都取得了最好的结果,特别是在节点数较多的FB15k-237上。

网址: https://arxiv.org/abs/1911.04910

5. SEEK: Segmented Embedding of Knowledge Graphs

作者:Wentao Xu, Shun Zheng, Liang He, Bin Shao, Jian Yin, Tie-Yan Liu

摘要:近年来,知识图嵌入成为人工智能领域的研究热点,在推荐、问答等各种下游应用中发挥着越来越重要的作用。然而,现有的知识图嵌入方法没有在模型复杂度和模型表现力之间取得适当的折衷,这使得它们仍然远远不能令人满意。为了缓解这一问题,我们提出了一个轻量级的建模框架,它可以在不增加模型复杂度的情况下获得具有高度竞争力的关系表达能力。我们的框架侧重于评分函数的设计,并突出了两个关键特征:1)促进充分的特征交互;2)保持关系的对称性和反对称性。值得注意的是,由于评分函数设计的通用性和美观性,我们的框架可以将现有的许多著名的方法作为特例合并在一起。此外,在公共基准上的大量实验证明了该框架的有效性。

网址: https://arxiv.org/abs/2005.00856

代码链接:

https://github.com/Wentao-Xu/SEEK

成为VIP会员查看完整内容
0
68

2019年是深度强化学习(DRL)研究的重要一年,也是我在这一领域读博士的第一年。像每一个博士新手一样,我花了很多时间来阅读论文,实施一些有趣的想法,对重大问题有自己的看法。在这篇博客文章中,我想分享一些我从2019年文献中总结出来的亮点。

为了让这篇文章有更多的结构,我决定把论文分成5个主要类别,并选出一个冠军和亚军。进一步说,这是我2019年的十大DRL论文。

第一类: 大型项目

深度RL (如ATARI DQNs、AlphaGo/Zero)在2019年之前的大部分突破性成果,都是在行动空间有限、状态空间完全可见、授信时间尺度适中的领域中取得的。局部可见性、长时间尺度以及巨大的动作空间仍然是虚幻的。另一方面,2019年证明了我们离将函数逼近与基于奖励的目标优化相结合的极限还很远。诸如《雷神之锤3》/《夺旗》、《星际争霸2》、《Dota 2》以及机器人手操作等挑战只是现代DRL能够解决的一部分令人兴奋的新领域。我试图根据科学贡献而不是现有算法的大规模扩展来选择第一类的获胜者。每个人如果有足够的计算能力-都可以做PPO一样的疯狂的事情。

DeepMind AlphaStar (Vinyals et al, 2019)

DeepMind的AlphaStar项目由Oriol Vinyals领导。在阅读《自然》杂志的论文时,我意识到这个项目很大程度上是基于FTW设置来处理Quake III: 将分布式IMPALA的角色-学习者设置与诱导结构化探索的强大先验相结合。

FTW使用基于两个LSTM的时间尺度层次结构的先验,而AlphaStar则使用人工示范。专家演示通过KL目标的监督最小化来预先训练代理的策略,并提供有效的正则化来确保代理的探索行为不会被星际争霸的维度诅咒所淹没。但这绝不是全部。科学贡献包括一个独特的版本虚构self-play(又名联盟),一个自回归分解与指针的策略策网络,上行策略更新的进化(UPGO - V-trace Off-Policy重要性抽样修正结构化操作空间)以及分散连接(一种特殊形式的嵌入,维护实体的空间相干映射层)。就我个人而言,我非常喜欢DeepMind,尤其是Oriol Vinyals对星际争霸社区的关心。很多时候,科幻小说让我们误以为电影是一场军备竞赛。但它是人为旨在提高我们的生活质量。

地址

https://deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning

OpenAI’s Solving’ of the Rubik’s Cube (OpenAI, 2019)

众所周知,深度学习能够解决需要提取和操作高级特征的任务。另一方面,低水平的灵活性,一种对我们来说很自然的能力,为当前的系统提供了一个主要的挑战。OpenAI灵巧性的贡献中,我最喜欢的是自动领域随机化(ADR):在机器人任务上训练深度RL代理的一个关键挑战是将仿真中所学到的知识转移到物理机器人上。模拟器只能捕获现实世界中有限的一组机制&精确地模拟摩擦需要计算时间。时间是昂贵的,否则可以用来在环境中产生更多的(但嘈杂的)过渡。提出了一种基于区域随机化的鲁棒策略。与用一组生成环境的超参数在单一环境中训练代理不同,该代理被训练在大量不同的配置上。ADR旨在设计一个环境复杂性的课程,以最大限度地提高学习进度。ADR根据agent的学习过程自动增加或减少可能的环境配置范围,为agent提供了一个伪自然课程。令人惊讶的是,这(加上基于ppo - lstm - gae的策略)导致了一种元学习形式,这种形式(到发布时)似乎还没有完全达到它的能力。Twitter上有很多关于“解决”这个词的讨论。该算法没有“完全”学习端到端解决一个立方体的正确的移动序列是什么,然后做所需的灵巧操作。但说实话,更令人印象深刻的是:用疯狂的奖励稀疏的手操作,还是学习一个相当短的符号转换序列?Woj Zaremba在2019年NeurIPS的“学习可转移技能”研讨会上提到,他们花了一天时间用DRL“解决立方体”&完全端到端的整个谜题是可能的。这是令人印象深刻。

第二类: 基于模型的强化学习 Model-based RL

虽然前两个项目令人兴奋地展示了DRL的潜力,但它们的采样效率低得可笑。我不想知道OpenAI和DeepMind必须支付电费是多少。有一些人通过在潜在空间中虚幻来提高样本(但不一定是计算)的效率,这是件好事。传统上,基于模型的RL一直在努力学习高维状态空间的动力学。通常,大量的模型容量不得不“浪费”在与状态空间无关的部分(例如,一个ATARI帧的最外层像素),而这与成功很少相关。最近,在一个抽象的空间里有很多关于规划/想象的提议。这是我最喜欢的两种方法:

MuZero (Schrittwieser et al., 2019)

  • Julian Schrittwieser, Ioannis Antonoglou, Thomas Hubert, Karen Simonyan, Laurent Sifre, Simon Schmitt, Arthur Guez, Edward Lockhart, Demis Hassabis, Thore Graepel, Timothy P. Lillicrap, David Silver:

  • Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. CoRR abs/1911.08265 (2019)

MuZero提供了从AlphaGo/AlphaZero项目中删除约束的下一个迭代。具体来说,它克服了过渡动力学的认可。因此,“通用MCTS +函数逼近工具箱”可用于更一般的问题设置,如基于视觉的问题(如ATARI)。

** Dreamer (aka. PlaNet 2.0; Hafner et al., 2019)**

另一方面,“Dreamer”为连续的动作空间提供了原则性的扩展,能够驯服基于高维视觉输入的长视距任务。将表征学习问题分解为迭代学习一个表征、转换和奖励模型。通过使用想象的轨迹训练一个基于行为-临界的策略来交错整个优化过程。Dreamer通过一个世界模型的想象轨迹来传播学习状态值的“分析”梯度。更具体地说,利用再参数化技术,通过神经网络预测,可以有效地传播多步收益的随机梯度。该方法在DeepMind控制套件中进行了评估,能够基于64×64×3维视觉输入控制行为。最后,作者还比较了不同的表示学习方法(奖励预测、像素重建和对比估计/观察重建),结果表明像素重建通常优于对比估计。

Danijar Hafner, Timothy P. Lillicrap, Jimmy Ba, Mohammad Norouzi: Dream to Control: Learning Behaviors by Latent Imagination. CoRR abs/1912.01603 (2019)

第三类: 多代理强化学习 Multi-Agent RL

代理超越了简单的中央控制模式。我们的日常生活充满了需要预期和心理理论的情况。我们不断假设其他人的反应,并根据最近的证据重新调整我们的信念。通过梯度下降法进行的朴素独立优化容易陷入局部最优。这一点在一个简单的两个GAN特工训练的社会中已经很明显了。联合学习导致了环境中的一种非平稳性,这是多智能体RL (MARL)的核心挑战。两篇精选的MARL论文强调了两个中心观点:从经典的集中训练+分散控制范式转向社会奖励塑造&自我游戏的规模化使用和意想不到的结果。

第四类: 学习动力学 Learning Dynamics

深层RL的学习动力学还远远没有被理解。与监督学习不同的是,在某种程度上,训练数据是给定的,并被视为IID(独立且同分布),RL需要一个代理来生成它们自己的训练数据。这可能会导致严重的不稳定性(例如致命的黑社会),任何玩弄过DQNs的人都会有这样的经历。仍然有一些重大的理论突破围绕着新的发现(如神经切线内核)。动力学类的两名获奖者突出了基于记忆的元学习(比RL更普遍)和基于策略的RL的基本特征。

第五类: Compositionality & Priors 组合性&先验

一种获得有效和快速适应的代理的方法是知情先验。与基于非信息性知识库的学习不同,agent可以依赖于之前以先验分布的形式提取的知识,但是如何才能获得这些知识呢?以下两篇论文提出了两种截然不同的方法:不确定目标的默认策略的同时学习&学习能够代表大量专家行为的密集嵌入空间。

结论

在整个2019年里,深度RL的巨大潜力在以前无法想象的领域得到了展现。重点介绍的大型项目还远远没有达到实地效率。但是这些问题正在被当前寻找有效的归纳偏差、先验和基于模型的方法所解决。

我对2020年将会发生的事情感到兴奋&我相信这是一个在这一领域的绝佳时机。有很多主要的问题,但是一个人所能产生的影响是相当大的。没有比现在更好的生活时机了。

References

1.Vinyals, O., I. Babuschkin, W. M. Czarnecki, M. Mathieu, A. Dudzik, J. Chung, D. H. Choi, et al. (2019): “Grandmaster level in StarCraft II using multi-agent reinforcement learning,”Nature, 575, 350–54.

2.Akkaya, I., M. Andrychowicz, M. Chociej, M. Litwin, B. McGrew, A. Petron, A. Paino, et al. (2019): “Solving Rubik’s Cube with a Robot Hand,” arXiv preprint arXiv:1910.07113, .

3.Schrittwieser, J., I. Antonoglou, T. Hubert, K. Simonyan, L. Sifre, S. Schmitt, A. Guez, et al. (2019): “Mastering atari, go, chess and shogi by planning with a learned model,” arXiv preprint arXiv:1911.08265, .

4.Hafner, D., T. Lillicrap, J. Ba, and M. Norouzi. (2019): “Dream to Control: Learning Behaviors by Latent Imagination,” arXiv preprint arXiv:1912.01603, .

5.Jaques, N., A. Lazaridou, E. Hughes, C. Gulcehre, P. Ortega, D. Strouse, J. Z. Leibo, and N. De Freitas. (2019): “Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning,” International Conference on Machine Learning, .

6.Baker, B., I. Kanitscheider, T. Markov, Y. Wu, G. Powell, B. McGrew, and I. Mordatch. (2019): “Emergent tool use from multi-agent autocurricula,” arXiv preprint arXiv:1909.07528, .

7.Rabinowitz, N. C. (2019): “Meta-learners’ learning dynamics are unlike learners,’” arXiv preprint arXiv:1905.01320, .

8.Schaul, T., D. Borsa, J. Modayil, and R. Pascanu. (2019): “Ray Interference: a Source of Plateaus in Deep Reinforcement Learning,” arXiv preprint arXiv:1904.11455, .

9.Galashov, A., S. M. Jayakumar, L. Hasenclever, D. Tirumala, J. Schwarz, G. Desjardins, W. M. Czarnecki, Y. W. Teh, R. Pascanu, and N. Heess. (2019): “Information asymmetry in KL-regularized RL,” arXiv preprint arXiv:1905.01240, .

10.Merel, J., L. Hasenclever, A. Galashov, A. Ahuja, V. Pham, G. Wayne, Y. W. Teh, and N. Heess. (2018): “Neural probabilistic motor primitives for humanoid control,” arXiv preprint arXiv:1811.11711, .

11.Lowe, R., Y. Wu, A. Tamar, J. Harb, O. A. I. P. Abbeel, and I. Mordatch. (2017): “Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments,” Advances in Neural Information Processing Systems, .

12.Saxe, A. M., J. L. McClelland, and S. Ganguli. (2013): “Exact solutions to the nonlinear dynamics of learning in deep linear neural networks,” arXiv preprint arXiv:1312.6120, .

13.Rahaman, N., A. Baratin, D. Arpit, F. Draxler, M. Lin, F. A. Hamprecht, Y. Bengio, and A. Courville. (2018): “On the spectral bias of neural networks,” arXiv preprint arXiv:1806.08734, .

14.Wang, J. X., Z. Kurth-Nelson, D. Tirumala, H. Soyer, J. Z. Leibo, R. Munos, C. Blundell, D. Kumaran, and M. Botvinick. “Learning to reinforcement learn, 2016,” arXiv preprint arXiv:1611.05763, .

成为VIP会员查看完整内容
0
45

最近小编推出CVPR2019图卷积网络、CVPR2019生成对抗网络、【可解释性】,CVPR视觉目标跟踪,CVPR视觉问答,医学图像分割,图神经网络的推荐,CVPR域自适应, ICML图神经网络,ICML元学习相关论文,反响热烈。最近,ACL 2019最新接受文章出炉,大会共收到2905 篇论文投稿,其中660 篇被接收(接收率为22.7%)。小编发现,今年接受的文章结合GNN的工作有二三十篇,看来,图神经网络已经攻占NLP领域,希望其他领域的同学多多学习,看能否结合,期待好的工作!今天小编专门整理最新十篇ACL长文,图神经网络(GNN)+NLP—注意力机制引导图神经网络、Graph-to-Sequence、动态融合图网络、实体和关系抽取、Multi-hop阅读理解、多模态上下文图理解等。

1、Attention Guided Graph Convolutional Networks for Relation Extraction (注意力机制引导图神经网络的关系抽取)

ACL ’19

作者:Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要:Dependency trees传递丰富的结构信息,这些信息对于提取文本中实体之间的关系非常有用。然而,如何有效利用相关信息而忽略Dependency trees中的无关信息仍然是一个具有挑战性的研究问题。现有的方法使用基于规则的hard-pruning策略来选择相关的部分依赖结构,可能并不总是产生最佳结果。本文提出了一种直接以全依赖树为输入的Attention Guided图卷积网络(AGGCNs)模型。我们的模型可以理解为一种soft-pruning方法,它自动学习如何有选择地关注对关系提取任务有用的相关子结构。在包括跨句n元关系提取和大规模句级关系提取在内的各种任务上的大量结果表明,我们的模型能够更好地利用全依赖树的结构信息,其结果显著优于之前的方法。

网址: http://www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代码链接:

https://github.com/Cartus/AGGCN_TACRED

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale(大规模认知图的Multi-Hop阅读理解)

ACL ’19

作者:Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要:我们提出了一种新的基于CogQA的web级文档multi-hop问答框架。该框架以认知科学的对偶过程理论为基础,通过协调隐式抽取模块(System 1)和显式推理模块(System 2),在迭代过程中逐步构建认知图,在给出准确答案的同时,进一步提供了可解释的推理路径。具体来说,我们基于BERT和graph neural network (GNN)的实现有效地处理了HotpotQA fullwiki数据集中数百万个multi-hop推理问题的文档,在排行榜上获得了34.9的F1 score,而最佳竞争对手的得分为23.6。

网址: https://arxiv.org/abs/1905.05460

代码链接: https://github.com/THUDM/CogQA

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model(使用Graph-to-Sequence模型为中文文章生成连贯的评论)

ACL ’19

作者:Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要:自动文章评论有助于鼓励用户参与和在线新闻平台上的互动。然而,对于传统的基于encoder-decoder的模型来说,新闻文档通常太长,这往往会导致一般性和不相关的评论。在本文中,我们提出使用一个Graph-to-Sequence的模型来生成评论,该模型将输入的新闻建模为一个主题交互图。通过将文章组织成图结构,我们的模型可以更好地理解文章的内部结构和主题之间的联系,这使得它能够更好地理解故事。我们从中国流行的在线新闻平台Tencent Kuaibao上收集并发布了一个大规模的新闻评论语料库。广泛的实验结果表明,与几个强大的baseline模型相比,我们的模型可以产生更多的连贯性和信息丰富性的评论。

网址: https://arxiv.org/abs/1906.01231

代码链接: https://github.com/lancopku/Graph-to-seq-comment-generation

4、Dynamically Fused Graph Network for Multi-hop Reasoning(基于动态融合图网络的Multi-hop Reasoning)

ACL ’19

作者:Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要:近年来,基于文本的问答(TBQA)得到了广泛的研究。大多数现有的方法侧重于在一段话内找到问题的答案。然而,许多有难度的问题需要来自两个或多个文档的分散文本的支持证据。本文提出了动态融合图网络(Dynamically Fused Graph Network ,DFGN),这是一种解决需要多个分散证据和推理的问题的新方法。受人类逐步推理行为的启发,DFGN包含一个动态融合层,从给定查询中提到的实体开始,沿着文本动态构建的实体图进行探索,并逐步从给定文档中找到相关的支持实体。我们在需要multi-hop reasoning的公共TBQA数据集HotpotQA上评估了DFGN。DFGN在公共数据集上取得了有竞争力的成绩。此外,我们的分析表明,DFGN可以产生可解释的推理链。

网址: https://arxiv.org/abs/1905.06933

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media(利用图卷积网络对Social Information进行编码,用于新闻媒体中的政治倾向性检测)

ACL ’19

作者:Chang Li, Dan Goldwasser

摘要:确定新闻事件在媒体中讨论方式的政治视角是一项重要而富有挑战性的任务。在这篇文章中,我们强调了将社交网络置于情景化的重要性,捕捉这些信息如何在社交网络中传播。我们使用最近提出的一种表示关系信息的神经网络结构——图卷积网络(Graph Convolutional Network)来捕获这些信息,并证明即使在很少的social information分类中也可以得到显著改进。

网址: https://www.cs.purdue.edu/homes/dgoldwas//downloads/papers/LiG_acl_2019.pdf

6、Graph Neural Networks with Generated Parameters for Relation Extraction(用于关系抽取的具有生成参数的图神经网络)

ACL ’19

作者:Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要:近年来,在改进机器学习领域的关系推理方面取得了一些进展。在现有的模型中,图神经网络(GNNs)是最有效的multi-hop关系推理方法之一。事实上,在关系抽取等自然语言处理任务中,multi-hop关系推理是必不可少的。本文提出了一种基于自然语言语句生成图神经网络(GP-GNNs)参数的方法,使神经网络能够对非结构化文本输入进行关系推理。我们验证了从文本中提取关系的GPGNN。 实验结果表明,与baseline相比,我们的模型取得了显著的改进。我们还进行了定性分析,证明我们的模型可以通过multi-hop关系推理发现更精确的关系。

网址: https://arxiv.org/abs/1902.00756

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks(使用图卷积网络在词嵌入中结合句法和语义信息)

ACL ’19

作者:Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要:词嵌入已被广泛应用于多种NLP应用程序中。现有的词嵌入方法大多利用词的sequential context来学习词的嵌入。虽然有一些尝试利用词的syntactic context,但这种方法会导致词表数的爆炸。在本文中,我们通过提出SynGCN来解决这个问题,SynGCN是一种灵活的基于图卷积的学习词嵌入的方法。SynGCN在不增加词表大小的情况下利用单词的dependency context。SynGCN学习的词嵌入在各种内部和外部任务上都优于现有方法,在与ELMo一起使用时提供优势。我们还提出了SemGCN,这是一个有效的框架,用于整合不同的语义知识,以进一步增强所学习的单词表示。我们提供了两个模型的源代码,以鼓励可重复的研究。

网址: https://arxiv.org/abs/1809.04283

代码链接: http://github.com/malllabiisc/WordGCN

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction(GraphRel: 将文本建模为关系图,用于实体和关系抽取)

ACL ’19

作者:Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要:本文提出了一种利用图卷积网络(GCNs)联合学习命名实体和关系的端到端关系抽取模型GraphRel。与之前的baseline相比,我们通过关系加权GCN来考虑命名实体和关系之间的交互,从而更好地提取关系。线性结构和依赖结构都用于提取文本的序列特征和区域特征,并利用完整的词图进一步提取文本所有词对之间的隐式特征。基于图的方法大大提高了对重叠关系的预测能力。我们在两个公共数据集NYT和webnlg上评估了GraphRel。结果表明,GraphRel在大幅度提高recall的同时,保持了较高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score),实现了关系抽取的最先进的方法。

网址: https://tsujuifu.github.io/projs/acl19_graph-rel.html

代码链接: https://github.com/tsujuifu/pytorch_graph-rel

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs(通过对异构图进行推理,实现跨多个文档的Multi-hop阅读理解)

ACL ’19

作者:Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要:跨文档的Multi-hop阅读理解(RC)对单文本RC提出了新的挑战,因为它需要对多个文档进行推理才能得到最终答案。在本文中,我们提出了一个新的模型来解决multi-hop RC问题。我们引入了具有不同类型的节点和边的异构图,称为异构文档-实体(HDE)图。HDE图的优点是它包含不同粒度级别的信息,包括特定文档上下文中的候选信息、文档和实体。我们提出的模型可以对HDE图进行推理,节点表示由基于co-attention 和 self-attention的上下文编码器初始化。我们使用基于图神经网络(GNN)的消息传递算法,在提出的HDE图上累积evidence。通过对Qangaroo WIKIHOP数据集的blind测试集的评估,我们的基于HDE图的单模型给出了具有竞争力的结果,并且集成模型达到了最先进的性能。

网址: https://arxiv.org/abs/1905.07374

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension(多模态上下文图理解和自监督开放集理解的Textbook问答)

ACL ’19

作者:Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要:在本文中,我们介绍了一种解决教科书问答(TQA)任务的新算法。在分析TQA数据集时,我们主要关注两个相关问题。首先,解决TQA问题需要理解复杂输入数据中的多模态上下文。为了解决从长文本中提取知识特征并与视觉特征相结合的问题,我们从文本和图像中建立了上下文图,并提出了一种基于图卷积网络(GCN)的f-GCN模块。其次,科学术语不会分散在各个章节中,而且主题在TQA数据集中是分开的。为了克服这个所谓的“领域外”问题,在学习QA问题之前,我们引入了一种新的没有任何标注的自监督开放集学习过程。实验结果表明,我们的模型明显优于现有的最先进的方法。此外,消融研究证实,将f-GCN用于从多模态上下文中提取知识的方法和我们新提出的自监督学习过程对于TQA问题都是有效的。

网址: https://arxiv.org/abs/1811.00232

下载链接:https://pan.baidu.com/s/1xDKxGyvF4pGa7_8ipuS0bw 提取码:rr1c

成为VIP会员查看完整内容
0
59

The ability to understand and work with numbers (numeracy) is critical for many complex reasoning tasks. Currently, most NLP models treat numbers in text in the same way as other tokens---they embed them as distributed vectors. Is this enough to capture numeracy? We begin by investigating the numerical reasoning capabilities of a state-of-the-art question answering model on the DROP dataset. We find this model excels on questions that require numerical reasoning, i.e., it already captures numeracy. To understand how this capability emerges, we probe token embedding methods (e.g., BERT, GloVe) on synthetic list maximum, number decoding, and addition tasks. A surprising degree of numeracy is naturally present in standard embeddings. For example, GloVe and word2vec accurately encode magnitude for numbers up to 1,000. Furthermore, character-level embeddings are even more precise---ELMo captures numeracy the best for all pre-trained methods---but BERT, which uses sub-word units, is less exact.

0
5
下载
预览
小贴士
相关VIP内容
专知会员服务
36+阅读 · 2020年10月13日
专知会员服务
45+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
69+阅读 · 2019年10月11日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
37+阅读 · 2019年9月29日
相关资讯
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
91+阅读 · 2020年3月18日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
22+阅读 · 2020年3月16日
Eric Wallace,Yizhong Wang,Sujian Li,Sameer Singh,Matt Gardner
5+阅读 · 2019年9月17日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
11+阅读 · 2019年6月25日
Object Detection in 20 Years: A Survey
Zhengxia Zou,Zhenwei Shi,Yuhong Guo,Jieping Ye
38+阅读 · 2019年5月13日
Recommendation Systems for Tourism Based on Social Networks: A Survey
Alan Menk,Laura Sebastia,Rebeca Ferreira
3+阅读 · 2019年3月28日
Transfer Adaptation Learning: A Decade Survey
Lei Zhang
30+阅读 · 2019年3月12日
Marc Everett Johnson
3+阅读 · 2018年12月18日
Joaquin Vanschoren
115+阅读 · 2018年10月8日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Top