会员服务
Iconicity in Large Language Models
Arxiv
0+阅读 · 1月10日
Byte BPE Tokenization as an Inverse string Homomorphism
Arxiv
0+阅读 · 2024年12月4日
Retrofitting (Large) Language Models with Dynamic Tokenization
Arxiv
0+阅读 · 2024年11月27日
Theoretical Analysis of Byte-Pair Encoding
Arxiv
0+阅读 · 2024年11月13日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 2024年11月4日
Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers
Arxiv
0+阅读 · 2024年10月31日
Tokenization and Morphology in Multilingual Language Models: A~Comparative Analysis of mT5 and ByT5
Arxiv
0+阅读 · 2024年10月15日
Tokenization Is More Than Compression
Arxiv
0+阅读 · 2024年10月7日
Tokenization Falling Short: On Subword Robustness in Large Language Models
Arxiv
0+阅读 · 2024年10月4日
Tokenization Falling Short: The Curse of Tokenization
Arxiv
0+阅读 · 2024年10月3日
Fingerspelling within Sign Language Translation
Arxiv
0+阅读 · 2024年8月13日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 2024年8月8日
Assessing the XDC Network: A Comprehensive Evaluation of its qualitative and technical aspects
Arxiv
0+阅读 · 2024年8月4日
Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As
Arxiv
0+阅读 · 2024年7月24日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 2024年7月16日
参考链接
微信扫码咨询专知VIP会员
Top