与Query选择器一起的长期序列预测 -- -- 低关注的有效模式 (Long-term series forecasting with Query Selector -- efficient model of sparse attention) - 专知论文

会员服务 ·

0

稀疏 · 注意力机制 · MoDELS · 变换 · 情景 ·

2021 年 7 月 19 日

Long-term series forecasting with Query Selector -- efficient model of sparse attention

翻译：与Query选择器一起的长期序列预测 -- -- 低关注的有效模式

Jacek Klimek,Jakub Klimek,Witold Kraskiewicz,Mateusz Topolewski

from arxiv, 10 pages

Various modifications of TRANSFORMER were recently used to solve time-series forecasting problem. We propose Query Selector - an efficient, deterministic algorithm for sparse attention matrix. Experiments show it achieves state-of-the art results on ETT data set.

翻译：最近对TRRANSORMER的各种修改被用于解决时间序列预测问题。我们建议查询选择器(Query Shoppleor ) — — 一种高效的确定性算法,用于稀疏关注矩阵。实验显示它取得了ETT数据集的最新结果。

0

相关内容

最新《Transformers模型》教程，64页ppt

最新《Transformers模型》教程，64页ppt

专知会员服务

309+阅读 · 2020年11月26日

神经网络序列数据建模，229页ppt，Modeling Sequential Data with Neural Nets

神经网络序列数据建模，229页ppt，Modeling Sequential Data with Neural Nets

专知会员服务

65+阅读 · 2020年7月25日

基于上下文化图注意力网络的知识图谱的条目推荐，Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

基于上下文化图注意力网络的知识图谱的条目推荐，Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

专知会员服务

100+阅读 · 2020年6月28日

基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search

基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search

专知会员服务

30+阅读 · 2020年5月20日

具有组合核的图神经网络，Graph Neural Networks with Composite Kernels

具有组合核的图神经网络，Graph Neural Networks with Composite Kernels

专知会员服务

58+阅读 · 2020年5月20日

【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion

【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion

专知会员服务

9+阅读 · 2020年5月14日

【牛津大学】深度学习时间序列预测，Time Series Forecasting With Deep Learning: A Survey

【牛津大学】深度学习时间序列预测，Time Series Forecasting With Deep Learning: A Survey

专知会员服务

140+阅读 · 2020年4月30日

【WWW2020-腾讯】未来的数据有助于训练:为基于会话的推荐建立未来的上下文模型，Future Data Helps Training: Modelling Future Contexts for Session-based Recommendation

【WWW2020-腾讯】未来的数据有助于训练:为基于会话的推荐建立未来的上下文模型，Future Data Helps Training: Modelling Future Contexts for Session-based Recommendation

专知会员服务

24+阅读 · 2020年3月15日

【KDD2019|讲座推荐】大时间序列预测的理论与实践：Forecasting Big Time Series: Theory and Practice

【KDD2019|讲座推荐】大时间序列预测的理论与实践：Forecasting Big Time Series: Theory and Practice

专知会员服务

116+阅读 · 2019年12月6日

Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation

Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation

专知会员服务

47+阅读 · 2019年10月17日

一文读懂Attention机制

一文读懂Attention机制

机器学习与推荐算法

63+阅读 · 2020年6月9日

LibRec 精选：AutoML for Contextual Bandits

LibRec 精选：AutoML for Contextual Bandits

LibRec智能推荐

7+阅读 · 2019年9月19日

Hierarchically Structured Meta-learning

Hierarchically Structured Meta-learning

CreateAMind

26+阅读 · 2019年5月22日

Transferring Knowledge across Learning Processes

Transferring Knowledge across Learning Processes

CreateAMind

28+阅读 · 2019年5月18日

LibRec 精选：位置感知的长序列会话推荐

LibRec 精选：位置感知的长序列会话推荐

LibRec智能推荐

3+阅读 · 2019年5月17日

从Seq2seq到Attention模型到Self Attention（二）

从Seq2seq到Attention模型到Self Attention（二）

量化投资与机器学习

23+阅读 · 2018年10月9日

从Seq2seq到Attention模型到Self Attention（一）

从Seq2seq到Attention模型到Self Attention（一）

量化投资与机器学习

76+阅读 · 2018年10月8日

LibRec 精选：连通知识图谱与推荐系统

LibRec 精选：连通知识图谱与推荐系统

LibRec智能推荐

3+阅读 · 2018年8月9日

LibRec 精选：推荐系统9个必备数据集

LibRec 精选：推荐系统9个必备数据集

LibRec智能推荐

6+阅读 · 2018年3月7日

【推荐】RNN/LSTM时序预测

【推荐】RNN/LSTM时序预测

机器学习研究会

25+阅读 · 2017年9月8日

LOKI: Long Term and Key Intentions for Trajectory Prediction

Arxiv

1+阅读 · 2021年9月17日

From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba

Arxiv

0+阅读 · 2021年9月17日

Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval

Arxiv

4+阅读 · 2021年5月8日

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Arxiv

21+阅读 · 2020年12月17日

MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection

Arxiv

4+阅读 · 2020年2月13日

STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting

STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting

Arxiv

9+阅读 · 2019年11月29日

Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting

Arxiv

3+阅读 · 2019年11月27日

A Memory-Network Based Solution for Multivariate Time-Series Forecasting

A Memory-Network Based Solution for Multivariate Time-Series Forecasting

Arxiv

13+阅读 · 2018年9月6日

Dynamic and Static Topic Model for Analyzing Time-Series Document Collections

Arxiv

8+阅读 · 2018年5月6日

Attention-based Group Recommendation

Arxiv

14+阅读 · 2018年4月18日

VIP会员

文章信息

相关主题

注意力机制

相关VIP内容

最新《Transformers模型》教程，64页ppt

最新《Transformers模型》教程，64页ppt

专知会员服务

309+阅读 · 2020年11月26日

神经网络序列数据建模，229页ppt，Modeling Sequential Data with Neural Nets

神经网络序列数据建模，229页ppt，Modeling Sequential Data with Neural Nets

专知会员服务

65+阅读 · 2020年7月25日

基于上下文化图注意力网络的知识图谱的条目推荐，Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

基于上下文化图注意力网络的知识图谱的条目推荐，Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

专知会员服务

100+阅读 · 2020年6月28日

基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search

基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search

专知会员服务

30+阅读 · 2020年5月20日

具有组合核的图神经网络，Graph Neural Networks with Composite Kernels

具有组合核的图神经网络，Graph Neural Networks with Composite Kernels

专知会员服务

58+阅读 · 2020年5月20日

【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion

【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion

专知会员服务

9+阅读 · 2020年5月14日

【牛津大学】深度学习时间序列预测，Time Series Forecasting With Deep Learning: A Survey

【牛津大学】深度学习时间序列预测，Time Series Forecasting With Deep Learning: A Survey

专知会员服务

140+阅读 · 2020年4月30日

【WWW2020-腾讯】未来的数据有助于训练:为基于会话的推荐建立未来的上下文模型，Future Data Helps Training: Modelling Future Contexts for Session-based Recommendation

【WWW2020-腾讯】未来的数据有助于训练:为基于会话的推荐建立未来的上下文模型，Future Data Helps Training: Modelling Future Contexts for Session-based Recommendation

专知会员服务

24+阅读 · 2020年3月15日

【KDD2019|讲座推荐】大时间序列预测的理论与实践：Forecasting Big Time Series: Theory and Practice

【KDD2019|讲座推荐】大时间序列预测的理论与实践：Forecasting Big Time Series: Theory and Practice

专知会员服务

116+阅读 · 2019年12月6日

Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation

Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation

专知会员服务

47+阅读 · 2019年10月17日

热门VIP内容

相关资讯

一文读懂Attention机制

一文读懂Attention机制

机器学习与推荐算法

63+阅读 · 2020年6月9日

LibRec 精选：AutoML for Contextual Bandits

LibRec 精选：AutoML for Contextual Bandits

LibRec智能推荐

7+阅读 · 2019年9月19日

Hierarchically Structured Meta-learning

Hierarchically Structured Meta-learning

CreateAMind

26+阅读 · 2019年5月22日

Transferring Knowledge across Learning Processes

Transferring Knowledge across Learning Processes

CreateAMind

28+阅读 · 2019年5月18日

LibRec 精选：位置感知的长序列会话推荐

LibRec 精选：位置感知的长序列会话推荐

LibRec智能推荐

3+阅读 · 2019年5月17日

从Seq2seq到Attention模型到Self Attention（二）

从Seq2seq到Attention模型到Self Attention（二）

量化投资与机器学习

23+阅读 · 2018年10月9日

从Seq2seq到Attention模型到Self Attention（一）

从Seq2seq到Attention模型到Self Attention（一）

量化投资与机器学习

76+阅读 · 2018年10月8日

LibRec 精选：连通知识图谱与推荐系统

LibRec 精选：连通知识图谱与推荐系统

LibRec智能推荐

3+阅读 · 2018年8月9日

LibRec 精选：推荐系统9个必备数据集

LibRec 精选：推荐系统9个必备数据集

LibRec智能推荐

6+阅读 · 2018年3月7日

【推荐】RNN/LSTM时序预测

【推荐】RNN/LSTM时序预测

机器学习研究会

25+阅读 · 2017年9月8日

相关论文

LOKI: Long Term and Key Intentions for Trajectory Prediction

Arxiv

1+阅读 · 2021年9月17日

From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba

Arxiv

0+阅读 · 2021年9月17日

Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval

Arxiv

4+阅读 · 2021年5月8日

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Arxiv

21+阅读 · 2020年12月17日

MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection

Arxiv

4+阅读 · 2020年2月13日

STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting

STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting

Arxiv

9+阅读 · 2019年11月29日

Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting

Arxiv

3+阅读 · 2019年11月27日

A Memory-Network Based Solution for Multivariate Time-Series Forecasting

A Memory-Network Based Solution for Multivariate Time-Series Forecasting

Arxiv

13+阅读 · 2018年9月6日

Dynamic and Static Topic Model for Analyzing Time-Series Document Collections

Arxiv

8+阅读 · 2018年5月6日

Attention-based Group Recommendation

Arxiv

14+阅读 · 2018年4月18日

微信扫码咨询专知VIP会员