Recent advances in learned image codecs have been extended from human perception toward machine perception. However, progressive image compression with fine granular scalability (FGS)-which enables decoding a single bitstream at multiple quality levels-remains unexplored for machine-oriented codecs. In this work, we propose a novel progressive learned image compression codec for machine perception, PICM-Net, based on trit-plane coding. By analyzing the difference between human- and machine-oriented rate-distortion priorities, we systematically examine the latent prioritization strategies in terms of machine-oriented codecs. To further enhance real-world adaptability, we design an adaptive decoding controller, which dynamically determines the necessary decoding level during inference time to maintain the desired confidence of downstream machine prediction. Extensive experiments demonstrate that our approach enables efficient and adaptive progressive transmission while maintaining high performance in the downstream classification task, establishing a new paradigm for machine-aware progressive image compression.


翻译:近年来,学习型图像编解码器的进展已从人类感知延伸至机器感知。然而,具有精细粒度可伸缩性的渐进式图像压缩——即能够从单一比特流解码出多个质量层级——在面向机器的编解码器中仍未得到探索。本研究提出了一种新颖的面向机器感知的渐进式学习图像压缩编解码器PICM-Net,其基于三值平面编码。通过分析面向人类与面向机器的率失真优先级差异,我们系统性地研究了面向机器编解码器的潜在优先级分配策略。为进一步增强实际应用适应性,我们设计了一种自适应解码控制器,该控制器能在推理时动态确定必要的解码层级,以维持下游机器预测所需的置信度。大量实验表明,我们的方法在保持下游分类任务高性能的同时,实现了高效且自适应的渐进式传输,为面向机器的渐进式图像压缩建立了新范式。

0
下载
关闭预览

相关内容

【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员