Topic models have been widely used to learn text representations and gain insight into document corpora. To perform topic discovery, most existing neural models either take document bag-of-words (BoW) or sequence of tokens as input followed by variational inference and BoW reconstruction to learn topic-word distribution. However, leveraging topic-word distribution for learning better features during document encoding has not been explored much. To this end, we develop a framework TAN-NTM, which processes document as a sequence of tokens through a LSTM whose contextual outputs are attended in a topic-aware manner. We propose a novel attention mechanism which factors in topic-word distribution to enable the model to attend on relevant words that convey topic related cues. The output of topic attention module is then used to carry out variational inference. We perform extensive ablations and experiments resulting in ~9-15 percentage improvement over score of existing SOTA topic models in NPMI coherence on several benchmark datasets - 20Newsgroups, Yelp Review Polarity and AGNews. Further, we show that our method learns better latent document-topic features compared to existing topic models through improvement on two downstream tasks: document classification and topic guided keyphrase generation.


翻译:为了进行专题发现,大多数现有的神经模型要么将文件词包或象征序列作为投入,然后进行变式推断,然后进行 BoW 重建,以学习主题词的分发。然而,在文件编码过程中,没有广泛探讨利用专题词的分发来学习更好的特征。为此,我们开发了一个TAN-NTM框架,通过一个LSTM文件作为象征序列进行文件处理,该LSTM文件背景产出以专题意识方式得到处理。我们提议了一个新的注意机制,在专题词分发中将专题词的分发因素作为投入,然后将文件符号序列作为传递主题相关提示的相关词。然后,将主题注意模块的产出用于进行变式推断。我们进行了广泛的推算和实验,结果是,在NPNI中现有的SOTA专题模型的得分比分提高了9.15%。在若干基准数据集上,20个Newsgroups,Yelp Accurity and AGNews上,我们展示了我们的方法学习了更好的潜在文件版关键特征,与现有专题分类相比,通过两个模式改进。

0
下载
关闭预览

相关内容

注意力机制综述
专知会员服务
82+阅读 · 2021年1月26日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
154+阅读 · 2020年5月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
12+阅读 · 2018年6月25日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Neural Module Networks for Reasoning over Text
Arxiv
9+阅读 · 2019年12月10日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2018年2月22日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
5+阅读 · 2017年12月29日
VIP会员
相关资讯
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
12+阅读 · 2018年6月25日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Neural Module Networks for Reasoning over Text
Arxiv
9+阅读 · 2019年12月10日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2018年2月22日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
5+阅读 · 2017年12月29日
Top
微信扫码咨询专知VIP会员