会员服务
稀疏 · 注意力机制 · MoDELS · 变换 · 计算学习理论 ·
2021 年 8 月 17 日
Long-term series forecasting with Query Selector -- efficient model of sparse attention
翻译：与Query选择器一起的长期序列预测 -- -- 低关注的有效模式
Jacek Klimek,Jakub Klimek,Witold Kraskiewicz,Mateusz Topolewski
Jacek Klimek,Jakub Klimek,Witold Kraskiewicz,Mateusz Topolewski
from arxiv, 10 pages

Various modifications of TRANSFORMER were recently used to solve time-series forecasting problem. We propose Query Selector - an efficient, deterministic algorithm for sparse attention matrix. Experiments show it achieves state-of-the art results on ETT, Helpdesk and BPI'12 datasets.


翻译：最近对TRRANSORMER的各种修改被用于解决时间序列预测问题。 我们提议了查询选择器 — 一种高效的、确定性算法, 用于稀疏关注矩阵。 实验显示它取得了在 ETT、 服务台和 BPI' 12 数据集上的最新结果 。
0
下载
关闭预览

相关内容

【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion
【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion
专知会员服务
10+阅读 · 2020年5月14日
【牛津大学】深度学习时间序列预测，12页pdf, Deep Learning Time Series Forecasting
【牛津大学】深度学习时间序列预测，12页pdf, Deep Learning Time Series Forecasting
专知会员服务
174+阅读 · 2020年5月1日
深度强化学习策略梯度教程，53页ppt
深度强化学习策略梯度教程，53页ppt
专知会员服务
184+阅读 · 2020年2月1日
【多语言模型跨任务嵌入投影】Multilingual model using cross-task embedding projection，CoNLL 2019，附论文和PPT免费下载
【多语言模型跨任务嵌入投影】Multilingual model using cross-task embedding projection，CoNLL 2019，附论文和PPT免费下载
专知会员服务
10+阅读 · 2019年11月4日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
50+阅读 · 2019年10月17日
TensorFlow 2.0官方Transformer教程 (Attention is All you Need)
TensorFlow 2.0官方Transformer教程 (Attention is All you Need)
专知
54+阅读 · 2019年4月12日
使用 Encoder-Decoder 框架实现基于深度学习的聊天机器人
使用 Encoder-Decoder 框架实现基于深度学习的聊天机器人
开源中国
4+阅读 · 2018年6月19日
Jointly Improving Summarization and Sentiment Classification
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】RNN/LSTM时序预测
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
Hierarchically Regularized Deep Forecasting
Hierarchically Regularized Deep Forecasting
Arxiv
0+阅读 · 2021年10月12日
Learning Discrete Representations via Constrained Clustering for Effective and Efficient Dense Retrieval
Arxiv
6+阅读 · 2021年10月12日
RNN with Particle Flow for Probabilistic Spatio-temporal Forecasting
Arxiv
5+阅读 · 2021年6月10日
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Arxiv
21+阅读 · 2020年12月17日
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
Arxiv
13+阅读 · 2018年9月6日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
稀疏
注意力机制
MoDELS
变换
计算学习理论
相关VIP内容
【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion
【SIGIR2020】高效查询自动补全，Efficient and Effective Query Auto-Completion
专知会员服务
10+阅读 · 2020年5月14日
【牛津大学】深度学习时间序列预测，12页pdf, Deep Learning Time Series Forecasting
【牛津大学】深度学习时间序列预测，12页pdf, Deep Learning Time Series Forecasting
专知会员服务
174+阅读 · 2020年5月1日
深度强化学习策略梯度教程，53页ppt
深度强化学习策略梯度教程，53页ppt
专知会员服务
184+阅读 · 2020年2月1日
【多语言模型跨任务嵌入投影】Multilingual model using cross-task embedding projection，CoNLL 2019，附论文和PPT免费下载
【多语言模型跨任务嵌入投影】Multilingual model using cross-task embedding projection，CoNLL 2019，附论文和PPT免费下载
专知会员服务
10+阅读 · 2019年11月4日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
50+阅读 · 2019年10月17日
热门VIP内容
相关资讯
TensorFlow 2.0官方Transformer教程 (Attention is All you Need)
TensorFlow 2.0官方Transformer教程 (Attention is All you Need)
专知
54+阅读 · 2019年4月12日
使用 Encoder-Decoder 框架实现基于深度学习的聊天机器人
使用 Encoder-Decoder 框架实现基于深度学习的聊天机器人
开源中国
4+阅读 · 2018年6月19日
Jointly Improving Summarization and Sentiment Classification
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】RNN/LSTM时序预测
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关论文
Hierarchically Regularized Deep Forecasting
Hierarchically Regularized Deep Forecasting
Arxiv
0+阅读 · 2021年10月12日
Learning Discrete Representations via Constrained Clustering for Effective and Efficient Dense Retrieval
Arxiv
6+阅读 · 2021年10月12日
RNN with Particle Flow for Probabilistic Spatio-temporal Forecasting
Arxiv
5+阅读 · 2021年6月10日
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Arxiv
21+阅读 · 2020年12月17日
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
Arxiv
13+阅读 · 2018年9月6日
Top
微信扫码咨询专知VIP会员
Top