会员服务
Theoretical Analysis of Byte-Pair Encoding
Arxiv
0+阅读 · 11月13日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 11月4日
Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers
Arxiv
0+阅读 · 10月31日
Tokenization and Morphology in Multilingual Language Models: A~Comparative Analysis of mT5 and ByT5
Arxiv
0+阅读 · 10月15日
Tokenization Is More Than Compression
Arxiv
0+阅读 · 10月7日
Tokenization Falling Short: On Subword Robustness in Large Language Models
Arxiv
0+阅读 · 10月4日
Tokenization Falling Short: The Curse of Tokenization
Arxiv
0+阅读 · 10月3日
Fingerspelling within Sign Language Translation
Arxiv
0+阅读 · 8月13日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 8月8日
Assessing the XDC Network: A Comprehensive Evaluation of its qualitative and technical aspects
Arxiv
0+阅读 · 8月4日
Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As
Arxiv
0+阅读 · 7月24日
The Foundations of Tokenization: Statistical and Computational Concerns
Arxiv
0+阅读 · 7月16日
Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As
Arxiv
0+阅读 · 7月1日
Towards Semantic Equivalence of Tokenization in Multimodal LLM
Arxiv
0+阅读 · 6月27日
Compact Speech Translation Models via Discrete Speech Units Pretraining
Arxiv
0+阅读 · 6月26日
参考链接
微信扫码咨询专知VIP会员
Top