In this work, we introduce EQ-Net: the first holistic framework that solves both the tasks of log-likelihood ratio (LLR) estimation and quantization using a data-driven method. We motivate our approach with theoretical insights on two practical estimation algorithms at the ends of the complexity spectrum and reveal a connection between the complexity of an algorithm and the information bottleneck method: simpler algorithms admit smaller bottlenecks when representing their solution. This motivates us to propose a two-stage algorithm that uses LLR compression as a pretext task for estimation and is focused on low-latency, high-performance implementations via deep neural networks. We carry out extensive experimental evaluation and demonstrate that our single architecture achieves state-of-the-art results on both tasks when compared to previous methods, with gains in quantization efficiency as high as $20\%$ and reduced estimation latency by up to $60\%$ when measured on general purpose and graphical processing units (GPU). In particular, our approach reduces the GPU inference latency by more than two times in several multiple-input multiple-output (MIMO) configurations. Finally, we demonstrate that our scheme is robust to distributional shifts and retains a significant part of its performance when evaluated on 5G channel models, as well as channel estimation errors.


翻译:在这项工作中,我们引入了EQ-Net:第一个用数据驱动的方法解决日志相似比率(LLR)估计和量化任务的全面框架。我们用在复杂频谱的尽头的两种实际估算算法的理论见解来激励我们的做法,并揭示了算法的复杂性与信息瓶颈方法之间的联系:更简单的算法在代表其解决方案时承认较小的瓶颈。这促使我们提出一个两阶段算法,利用LLLR压缩作为估算的借口任务,并侧重于通过深层神经网络的低延迟性、高性能实施。我们进行了广泛的实验性评估,并展示了我们单一的架构与以往方法相比,在这两项任务上都取得了最先进的估算算法结果,在对一般目的和图形处理器(GPU)进行测量时,其估算值减少了60美元。特别是,我们的方法将GPU的延迟性能减少了两次以上,在多个多输出的多输出网络(MIOM)配置中,我们进行了广泛的实验性评估,并展示了与以往方法相比,我们的单一结构在两种任务上都取得了最先进的结果,最后,在四分级效率效率效率上,我们作为频道的分布是保留了5级的系统,我们对5级的分布进行了有力的分配,以保持了对5级的系统进行了重大的调整。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
41+阅读 · 2021年4月2日
MIT最新《贝叶斯深度学习》综述论文,37页pdf
专知会员服务
50+阅读 · 2021年1月4日
专知会员服务
60+阅读 · 2020年3月19日
深度学习界圣经“花书”《Deep Learning》中文版来了
专知会员服务
233+阅读 · 2019年10月26日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Arxiv
0+阅读 · 2021年6月18日
Arxiv
5+阅读 · 2021年4月21日
Dynamic Transfer Learning for Named Entity Recognition
Arxiv
3+阅读 · 2018年12月13日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Top
微信扫码咨询专知VIP会员