会员服务
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 4月3日
Rethinking Video Tokenization: A Conditioned Diffusion-based Approach
Arxiv
0+阅读 · 3月27日
Panoramic Distortion-Aware Tokenization for Person Detection and Localization Using Transformers in Overhead Fisheye Images
Arxiv
0+阅读 · 3月18日
Unifying Multitrack Music Arrangement via Reconstruction Fine-Tuning and Efficient Tokenization
Arxiv
0+阅读 · 3月6日
Rethinking Video Tokenization: A Conditioned Diffusion-based Approach
Arxiv
0+阅读 · 3月5日
RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs
Arxiv
0+阅读 · 3月25日
How Much is Enough? The Diminishing Returns of Tokenization Training Data
Arxiv
0+阅读 · 2月27日
Multiscale Byte Language Models -- A Hierarchical Architecture for Causal Million-Length Sequence Modeling
Arxiv
0+阅读 · 2月20日
FlexTok: Resampling Images into 1D Token Sequences of Flexible Length
Arxiv
0+阅读 · 2月19日
Extend Adversarial Policy Against Neural Machine Translation via Unknown Token
Arxiv
0+阅读 · 1月21日
Iconicity in Large Language Models
Arxiv
0+阅读 · 1月10日
Byte BPE Tokenization as an Inverse string Homomorphism
Arxiv
0+阅读 · 2024年12月4日
Retrofitting (Large) Language Models with Dynamic Tokenization
Arxiv
0+阅读 · 2024年11月27日
Theoretical Analysis of Byte-Pair Encoding
Arxiv
0+阅读 · 2024年11月13日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 2024年11月4日
参考链接
微信扫码咨询专知VIP会员
Top