基于深度学习的信源信道联合编码方法综述

2021 年 1 月 9 日 专知

信息论的经典结果表明，信源信道分离编码是渐进最优的。但现代通信系统对时延、带宽等愈发敏感，分离设计对解码具有无限计算能力这一假设难以成立。带宽有限时，相对于信源信道联合编码，分离编码已被证明是次优的。传统的联合信源信道编码需要复杂的编码方案，相较之下，数据驱动的深度学习技术则带来了新的设计思路。适时地对相关研究成果进行总结，有助于进一步明确深度学习方法解决信源信道联合编码问题的方式，为研究新的研究方向提供依据。首先介绍了基于深度学习的信源压缩方案和端对端收发信机模型，随后分析不同信源类型下的两种联合编码设计思路，最后探讨了基于深度学习的信源信道联合编码的潜在问题和未来的工作方向。

http://www.infocomm-journal.com/dxkx/article/2020/1000-0801/1000-0801-36-10-00056.shtml

传统的通信系统通过信源编码、信道编码实现图像/视频的传输，并将信源和信道编码划分为两个模块独立设计。信源信道独立编码（separate source-channel coding，SSCC）具有设计简单、模块化的特点，但在实际通信系统中，系统可容忍的时延、复杂度和码长有限，难以满足香农分离定理中码长不受限的假设。此外，分离定理适用于点对点通信系统以及信源、信道分布已知的情况，而多用户通信和具有时变信道的移动通信等场景中分离定理并不适用。在这些场景下，采用分离设计无法保证系统的最佳性能[1]。Gamal-Kim从理论上阐述了多种信源信道联合编码（joint source-channel coding，JSCC）模式，可以利用多用户信源之间的相关性取得比SSCC更好的性能[1]。

基于 JSCC 理论的实践方案有多种，其中一种是由 Wu 团队和 Katabi 团队在 2010 年提出的Softcast 模式[2,3]，通过变换对输入图像或视频进行处理，并将系数直接调制为密集的星座图进行传输，无须常规的量化、熵编码和信道编码。2019年， Wu 团队还提出了一种在瑞利衰落信道下进行无编码视频传输的Softcast方案[2]，针对信源数据的特点提出了一种信道分配和功率分配算法，在提升高质量数据的分集增益和减少低质量数据的损失之间进行了折中处理。

上述 Softcast 方案的局限性在于需要提前获得确定的信道模型，而真实环境下的信道特性往往是不可预测的。近年来，深度学习（deep learning）技术在图像、语音压缩等领域的发展为JSCC 的设计提供了新的思路。自编码器（autoencoder）是一种数据降维和重构的神经网络结构，可以通过无监督学习得到原始数据的低维表示。在这种结构的启发下，近期有研究提出用深度神经网络代替传统编解码，设计端到端的信源信道联合编码结构[4,5,6]。这种无监督的训练方式不仅可以有效地避免未知信道对数据重构的影响，而且可以挖掘多用户信源之间的相关性，在特定场景下能获得很好的效果，这是 JSCC 理论的有效实践。

信源压缩的目的是在通过编码去除信源内部冗余信息的同时，在解码端尽可能准确地恢复出原始信源数据。与之不同的是，信道编码需要对原始比特序列增加校验位来实现检错、纠错的功能，以此增加比特序列传输对于噪声信道的稳健性。从设计思路上来说，信源压缩和信道编码是对立的，若将它们分离设计，则难以取得最优的折中方案。鉴于自编码器编解码器无监督联合优化的特点，可以考虑使用人工神经网络对信源压缩和信道编码进行联合设计，从而使通信系统达到端到端的最优性能。那么，如何才能合理设计自编码器的结构，在最大限度压缩信源信息的同时，提高对信道噪声的稳健性？这需要从以下两个点去考虑。

其一，基于深度学习的信源编码结构可以为设计JSCC网络提供指导。设计JSCC时，需要结合不同信源的特点选择不同的网络结构，从而在网络隐层尽可能多地提取信源的特征图以提高重构质量。目前，相当一部分深度学习图像压缩算法在性能上已经能够超越JPEG、JPEG2000、BPG等传统方法[7,8]，而深度学习视频编码的性能在某些指标上能够达到或超越目前的一些主流标准（H.264、H.265等）[9,10]。

其二，与信源压缩的单模块设计不同，JSCC是通信系统的端到端抽象，因此 JSCC 设计需要考虑多径衰落、频率选择性衰落等信道以及对应的MIMO、OFDM等通信系统模型。同时，如何进行信道条件未知或不可微时的联合优化也是值得考虑的问题。近些年提出的基于自编码器的端到端收发信机模型[11,12,13]同样在讨论上述问题，可以为设计复杂信道环境下的信源信道联合编码提供参考。

因此，基于深度学习的信源编码和端到端收发信机的设计，能给实现信源信道联合编码带来启发与指导。本文首先分别介绍了基于深度学习的信源压缩编码方法以及端到端的收发信机模型，阐述获取信源有效低维表示与构建不同仿真环境下端到端收发信机的思路。接着介绍了基于深度学习技术的信源信道联合编码研究现状。最后，将讨论这一研究面临的问题和挑战。

专知便捷查看