会员服务
Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构
Transformers represent belief state geometry in their residual stream
Arxiv
0+阅读 · 11月11日
Do Efficient Transformers Really Save Computation?
Arxiv
0+阅读 · 11月9日
How Transformers Solve Propositional Logic Problems: A Mechanistic Analysis
How Transformers Solve Propositional Logic Problems: A Mechanistic Analysis
Arxiv
0+阅读 · 11月7日
Retentive Neural Quantum States: Efficient Ansätze for Ab Initio Quantum Chemistry
Arxiv
0+阅读 · 11月6日
MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba
Arxiv
0+阅读 · 11月6日
How Transformers Solve Propositional Logic Problems: A Mechanistic Analysis
How Transformers Solve Propositional Logic Problems: A Mechanistic Analysis
Arxiv
0+阅读 · 11月6日
Ask, and it shall be given: Turing completeness of prompting
Arxiv
0+阅读 · 11月4日
Provable optimal transport with transformers: The essence of depth and prompt engineering
Arxiv
0+阅读 · 11月1日
Attention is All You Need to Optimize Wind Farm Operations and Maintenance
Arxiv
0+阅读 · 10月31日
Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training
Arxiv
0+阅读 · 10月31日
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
Arxiv
0+阅读 · 10月30日
DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting
Arxiv
0+阅读 · 10月15日
DTPPO: Dual-Transformer Encoder-based Proximal Policy Optimization for Multi-UAV Navigation in Unseen Complex Environments
Arxiv
0+阅读 · 10月19日
Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training
Arxiv
0+阅读 · 10月22日
Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions
Arxiv
0+阅读 · 10月23日
参考链接
父主题
机器学习
预训练语言模型
注意力机制
机器翻译
微信扫码咨询专知VIP会员
Top