Classic image scaling (e.g. bicubic) can be seen as one convolutional layer and a single upscaling filter. Its implementation is ubiquitous in all display devices and image processing software. In the last decade deep learning systems have been introduced for the task of image super-resolution (SR), using several convolutional layers and numerous filters. These methods have taken over the benchmarks of image quality for upscaling tasks. Would it be possible to replace classic upscalers with deep learning architectures on edge devices such as display panels, tablets, laptop computers, etc.? On one hand, the current trend in Edge-AI chips shows a promising future in this direction, with rapid development of hardware that can run deep-learning tasks efficiently. On the other hand, in image SR only few architectures have pushed the limit to extreme small sizes that can actually run on edge devices at real-time. We explore possible solutions to this problem with the aim to fill the gap between classic upscalers and small deep learning configurations. As a transition from classic to deep-learning upscaling we propose edge-SR (eSR), a set of one-layer architectures that use interpretable mechanisms to upscale images. Certainly, a one-layer architecture cannot reach the quality of deep learning systems. Nevertheless, we find that for high speed requirements, eSR becomes better at trading-off image quality and runtime performance. Filling the gap between classic and deep-learning architectures for image upscaling is critical for massive adoption of this technology. It is equally important to have an interpretable system that can reveal the inner strategies to solve this problem and guide us to future improvements and better understanding of larger networks.


翻译:经典图像的升缩( 如 bicubicc) 可以被视为一个深层层层和单一升级过滤器, 其实施在所有显示设备和图像处理软件中都是无处可见的, 在所有显示器和图像处理软件中, 其实施是无处可见的。 在过去十年里, 已经为图像超解任务( SR) 的任务引入了深学习系统。 这些方法已经取代了升缩任务( 如 bicubicc) 的图像质量质量质量基准基准值。 是否有可能将经典的升级标准替换为经典的升级标准, 包括显示板、 平板、 膝上计算机等。 一方面, 在所有显示器和图像处理器中, 其所有显示的显示器件和图像处理器都无处处。 在过去十年中, 使用一些深层的图像超解( SR), 在图像中, 只有少数的架构把限制推到了極小的極小尺寸, 而在实时的边缘设备中, 。 我们探讨这一问题的可能解决方案的解决方案, 目的是填补经典的升级的升级的上缩缩缩缩缩、 指南和小型未来学习的改进。 作为从经典到深更深更深更深更深更深更深更深更深更深更深更深更深更深更深更深的 的 的 的 的 的,,,,,, 向 的 的 的, 向 的 的 的 的 的 的, 我們的 的 向 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 更 的 的 的 的 的 的 的 的 的 的 的 的 的 的 更 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 更 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
36+阅读 · 2017年12月10日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Arxiv
5+阅读 · 2020年3月16日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
36+阅读 · 2017年12月10日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Top
微信扫码咨询专知VIP会员