With the development of high-definition display devices, the practical scenario of Super-Resolution (SR) usually needs to super-resolve large input like 2K to higher resolution (4K/8K). To reduce the computational and memory cost, current methods first split the large input into local patches and then merge the SR patches into the output. These methods adaptively allocate a subnet for each patch. Quantization is a very important technique for network acceleration and has been used to design the subnets. Current methods train an MLP bit selector to determine the propoer bit for each layer. However, they uniformly sample subnets for training, making simple subnets overfitted and complicated subnets underfitted. Therefore, the trained bit selector fails to determine the optimal bit. Apart from this, the introduced bit selector brings additional cost to each layer of the SR network. In this paper, we propose a novel method named Content-Aware Bit Mapping (CABM), which can remove the bit selector without any performance loss. CABM also learns a bit selector for each layer during training. After training, we analyze the relation between the edge information of an input patch and the bit of each layer. We observe that the edge information can be an effective metric for the selected bit. Therefore, we design a strategy to build an Edge-to-Bit lookup table that maps the edge score of a patch to the bit of each layer during inference. The bit configuration of SR network can be determined by the lookup tables of all layers. Our strategy can find better bit configuration, resulting in more efficient mixed precision networks. We conduct detailed experiments to demonstrate the generalization ability of our method. The code will be released.


翻译:随着高清显示器件的普及,超分辨率(SR)的实际场景通常需要将2K以上的大尺寸输入超分辨率处理为更高的分辨率(4K / 8K)。为了降低计算和存储成本,当前方法首先将大输入划分为局部区域,然后将SR区域合并为输出。这些方法为每个区域自适应分配一个子网。定量化是网络加速的非常重要的技术,并被用于设计子网。当前方法通过训练MLP位选择器来确定每个层的合适位数。然而,它们均匀地对每个子网进行采样,使得简单的子网,过度拟合;而复杂的子网则欠拟合。因此,训练的位选择器无法确定最佳位数。除此之外,引入的位选择器还给SR网络中的每个层额外增加了成本。本文提出了一种名为内容感知位映射(CABM)的新方法,可以在无性能损失的情况下删除位选择器。CABM还可以在训练过程中为每个层学习位选择器。在训练后,我们分析了输入图像局部区域的边缘信息与每个层位数之间的关系。我们发现边缘信息可以成为选择位数的有效指标。因此,在推理期间,我们设计了一种策略来构建一个边缘与位的查找表,该表将一个区域的边缘评分映射到每个层的位。SR网络的位配置可以由所有层的查找表所确定。我们的策略可以找到更好的位配置,从而产生更高效的混合精度网络。我们进行了详细的实验,证明了我们的方法的泛化能力。我们将发布代码。

0
下载
关闭预览

相关内容

专知会员服务
12+阅读 · 2021年9月13日
专知会员服务
111+阅读 · 2020年6月26日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
轻量attention模块:Spatial Group-wise Enhance
极市平台
15+阅读 · 2019年7月3日
CVPR2019 | Decoders 对于语义分割的重要性
计算机视觉life
48+阅读 · 2019年3月24日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月31日
Arxiv
0+阅读 · 2023年5月30日
VIP会员
相关VIP内容
专知会员服务
12+阅读 · 2021年9月13日
专知会员服务
111+阅读 · 2020年6月26日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
相关资讯
轻量attention模块:Spatial Group-wise Enhance
极市平台
15+阅读 · 2019年7月3日
CVPR2019 | Decoders 对于语义分割的重要性
计算机视觉life
48+阅读 · 2019年3月24日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员