会员服务
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
Arxiv
0+阅读 · 1月10日
Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
Arxiv
0+阅读 · 1月2日
Fast Gradient Computation for RoPE Attention in Almost Linear Time
Arxiv
0+阅读 · 2024年12月31日
Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
Arxiv
1+阅读 · 2024年12月23日
Fast Gradient Computation for RoPE Attention in Almost Linear Time
Arxiv
1+阅读 · 2024年12月23日
Wonderful Matrices: Combining for a More Efficient and Effective Foundation Model Architecture
Arxiv
1+阅读 · 2024年12月20日
Wonderful Matrices: Combining for a More Efficient and Effective Foundation Model Architecture
Arxiv
1+阅读 · 2024年12月18日
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
Arxiv
1+阅读 · 2024年12月18日
Wonderful Matrices: Combining for a More Efficient and Effective Foundation Model Architecture
Arxiv
1+阅读 · 2024年12月16日
Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective
Arxiv
1+阅读 · 2024年12月12日
Circuit Complexity Bounds for RoPE-based Transformer Architecture
Arxiv
0+阅读 · 2024年12月1日
Circuit Complexity Bounds for RoPE-based Transformer Architecture
Arxiv
0+阅读 · 2024年11月12日
Can Custom Models Learn In-Context? An Exploration of Hybrid Architecture Performance on In-Context Learning Tasks
Arxiv
0+阅读 · 2024年11月6日
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
Arxiv
0+阅读 · 2024年11月6日
Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective
Arxiv
0+阅读 · 2024年10月29日
参考链接
微信扫码咨询专知VIP会员
Top