Implicit neural representations (INRs) have achieved remarkable success in image representation and compression, but they require substantial training time and memory. Meanwhile, recent 2D Gaussian Splatting (GS) methods (\textit{e.g.}, GaussianImage) offer promising alternatives through efficient primitive-based rendering. However, these methods require excessive Gaussian primitives to maintain high visual fidelity. To exploit the potential of GS-based approaches, we present GaussianImage++, which utilizes limited Gaussian primitives to achieve impressive representation and compression performance. Firstly, we introduce a distortion-driven densification mechanism. It progressively allocates Gaussian primitives according to signal intensity. Secondly, we employ context-aware Gaussian filters for each primitive, which assist in the densification to optimize Gaussian primitives based on varying image content. Thirdly, we integrate attribute-separated learnable scalar quantizers and quantization-aware training, enabling efficient compression of primitive attributes. Experimental results demonstrate the effectiveness of our method. In particular, GaussianImage++ outperforms GaussianImage and INRs-based COIN in representation and compression performance while maintaining real-time decoding and low memory usage.


翻译:隐式神经表示(INRs)在图像表示与压缩领域取得了显著成功,但其训练时间和内存开销较大。与此同时,最近的二维高斯泼溅(GS)方法(例如GaussianImage)通过基于图元的高效渲染提供了有前景的替代方案。然而,这些方法需要过量的高斯图元以维持高视觉保真度。为充分挖掘基于GS方法的潜力,本文提出GaussianImage++,该方法利用有限的高斯图元实现了出色的表示与压缩性能。首先,我们引入一种失真驱动的致密化机制,该机制根据信号强度逐步分配高斯图元。其次,我们为每个图元采用上下文感知的高斯滤波器,这些滤波器辅助致密化过程,以根据不同的图像内容优化高斯图元。第三,我们集成了属性分离的可学习标量量化器与量化感知训练,从而实现对图元属性的高效压缩。实验结果验证了本方法的有效性。特别地,GaussianImage++在表示与压缩性能上均优于GaussianImage和基于INRs的COIN方法,同时保持了实时解码与低内存占用的优势。

0
下载
关闭预览

相关内容

【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员