会员服务
IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference
Arxiv
0+阅读 · 11月26日
Similarity-Distance-Magnitude Activations
Arxiv
0+阅读 · 12月3日
Optimal Attention Temperature Enhances In-Context Learning under Distribution Shift
Arxiv
0+阅读 · 11月3日
Error-Free Linear Attention is a Free Lunch: Exact Solution from Continuous-Time Dynamics
Arxiv
0+阅读 · 12月14日
On Minimax Estimation of Parameters in Softmax-Contaminated Mixture of Experts
Arxiv
0+阅读 · 11月22日
Softmax as Linear Attention in the Large-Prompt Regime: a Measure-based Perspective
Arxiv
0+阅读 · 12月12日
Sliced ReLU attention: Quasi-linear contextual expressivity via sorting
Arxiv
0+阅读 · 12月12日
Quantum Doubly Stochastic Transformers
Arxiv
0+阅读 · 11月7日
GatedFWA: Linear Flash Windowed Attention with Gated Associative Memory
Arxiv
0+阅读 · 12月8日
Softmax Transformers are Turing-Complete
Arxiv
0+阅读 · 11月25日
RAT: Bridging RNN Efficiency and Attention Accuracy via Chunk-based Sequence Modeling
Arxiv
0+阅读 · 11月18日
Short window attention enables long-term memorization
Arxiv
0+阅读 · 12月9日
Similarity-Distance-Magnitude Activations
Arxiv
0+阅读 · 10月30日
When LRP Diverges from Leave-One-Out in Transformers
Arxiv
0+阅读 · 10月21日
Limitations of Normalization in Attention Mechanism
Arxiv
0+阅读 · 10月20日
参考链接
微信扫码咨询专知VIP会员
Top