会员服务
A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
Arxiv
0+阅读 · 12月9日
Bridging the Divide: Reconsidering Softmax and Linear Attention
Arxiv
0+阅读 · 12月9日
Counting Like Transformers: Compiling Temporal Counting Logic Into Softmax Transformers
Arxiv
0+阅读 · 12月1日
SoftmAP: Software-Hardware Co-design for Integer-Only Softmax on Associative Processors
Arxiv
0+阅读 · 11月26日
Selective Attention: Enhancing Transformer through Principled Context Control
Arxiv
0+阅读 · 11月19日
Topkima-Former: Low-energy, Low-Latency Inference for Transformers using top-k In-memory ADC
Arxiv
0+阅读 · 11月20日
Fast Convergence of Softmax Policy Mirror Ascent
Arxiv
0+阅读 · 11月18日
Making Sigmoid-MSE Great Again: Output Reset Challenges Softmax Cross-Entropy in Neural Network Classification
Arxiv
0+阅读 · 11月18日
ConSmax: Hardware-Friendly Alternative Softmax with Learnable Parameters
Arxiv
0+阅读 · 11月15日
Calibration of ordinal regression networks
Arxiv
0+阅读 · 11月15日
Breaking the Low-Rank Dilemma of Linear Attention
Arxiv
0+阅读 · 11月14日
More Expressive Attention with Negative Weights
Arxiv
0+阅读 · 11月14日
Breaking the Low-Rank Dilemma of Linear Attention
Arxiv
0+阅读 · 11月12日
More Expressive Attention with Negative Weights
Arxiv
0+阅读 · 11月11日
Structure Matters: Dynamic Policy Gradient
Arxiv
0+阅读 · 11月7日
参考链接
微信扫码咨询专知VIP会员
Top