会员服务
MemServe: Context Caching for Disaggregated LLM Serving with Elastic Memory Pool
Arxiv
0+阅读 · 12月21日
A Framework for Effective Invocation Methods of Various LLM Services
Arxiv
0+阅读 · 12月23日
HashEvict: A Pre-Attention KV Cache Eviction Strategy using Locality-Sensitive Hashing
Arxiv
0+阅读 · 12月13日
Fast and Live Model Auto Scaling with O(1) Host Caching
Arxiv
0+阅读 · 12月23日
Deliberation in Latent Space via Differentiable Cache Augmentation
Arxiv
0+阅读 · 12月23日
Parameterized Complexity of Caching in Networks
Arxiv
0+阅读 · 12月21日
Exposing Shadow Branches
Arxiv
0+阅读 · 12月19日
Multi-Strided Access Patterns to Boost Hardware Prefetching
Arxiv
0+阅读 · 12月20日
DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving
Arxiv
0+阅读 · 12月19日
DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
Arxiv
0+阅读 · 12月19日
SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation
Arxiv
0+阅读 · 12月18日
Boosting Long-Context Management via Query-Guided Activation Refilling
Arxiv
0+阅读 · 12月18日
More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression
Arxiv
0+阅读 · 12月17日
Boosting Long-Context Information Seeking via Query-Guided Activation Refilling
Arxiv
0+阅读 · 12月17日
TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
Arxiv
0+阅读 · 12月17日
参考链接
微信扫码咨询专知VIP会员
Top