会员服务
Attention机制最早是在视觉图像领域提出来的，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近，如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism
Arxiv
0+阅读 · 6月18日
Attention Scheme Inspired Softmax Regression
Arxiv
0+阅读 · 2023年4月20日
RFAConv: Innovating Spatial Attention and Standard Convolutional Operation
RFAConv: Innovating Spatial Attention and Standard Convolutional Operation
Arxiv
1+阅读 · 2023年4月18日
Attentive Q-Matrix Learning for Knowledge Tracing
Arxiv
0+阅读 · 2023年4月6日
Attention-based Domain Adaptation Forecasting of Streamflow in Data-Sparse Regions
Arxiv
0+阅读 · 2023年4月17日
Attention: Marginal Probability is All You Need?
Arxiv
0+阅读 · 2023年4月7日
Attention at SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS)
Arxiv
0+阅读 · 2023年4月10日
All-to-key Attention for Arbitrary Style Transfer
Arxiv
0+阅读 · 2023年4月6日
RFAConv: Innovating Spatital Attention and Standard Convolutional Operation
Arxiv
0+阅读 · 2023年4月6日
Inflation forecasting with attention based transformer neural networks
Arxiv
0+阅读 · 2023年3月29日
Prediction of Time and Distance of Trips Using Explainable Attention-based LSTMs
Arxiv
0+阅读 · 2023年3月27日
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Arxiv
0+阅读 · 2022年6月1日
Attention-embedded Quadratic Network (Qttention) for Effective and Interpretable Bearing Fault Diagnosis
Arxiv
1+阅读 · 2022年6月1日
Differentiable Soft-Masked Attention
Arxiv
0+阅读 · 2022年6月1日
Discovering Dynamic Functional Brain Networks via Spatial and Channel-wise Attention
Arxiv
0+阅读 · 2022年5月31日
参考链接
子主题
Transformer
自注意力
微信扫码咨询专知VIP会员
Top