Diffusion Transformers (DiTs) have achieved state-of-the-art performance in generative modeling, yet their high computational cost hinders real-time deployment. While feature caching offers a promising training-free acceleration solution by exploiting temporal redundancy, existing methods suffer from two key limitations: (1) uniform caching intervals fail to align with the non-uniform temporal dynamics of DiT, and (2) naive feature reuse with excessively large caching intervals can lead to severe error accumulation. In this work, we analyze the evolution of DiT features during denoising and reveal that both feature changes and error propagation are highly time- and depth-varying. Motivated by this, we propose ProCache, a training-free dynamic feature caching framework that addresses these issues via two core components: (i) a constraint-aware caching pattern search module that generates non-uniform activation schedules through offline constrained sampling, tailored to the model's temporal characteristics; and (ii) a selective computation module that selectively computes within deep blocks and high-importance tokens for cached segments to mitigate error accumulation with minimal overhead. Extensive experiments on PixArt-alpha and DiT demonstrate that ProCache achieves up to 1.96x and 2.90x acceleration with negligible quality degradation, significantly outperforming prior caching-based methods.


翻译:扩散Transformer(DiT)在生成建模中已实现最先进的性能,但其高昂的计算成本阻碍了实时部署。特征缓存通过利用时间冗余性提供了一种无需训练即可加速的可行方案,然而现有方法存在两个关键局限:(1)均匀的缓存间隔无法与DiT非均匀的时间动态特性对齐;(2)采用过大缓存间隔的简单特征重用会导致严重的误差累积。本文分析了去噪过程中DiT特征的演变规律,揭示了特征变化与误差传播均具有高度的时间与深度差异性。基于此,我们提出ProCache——一种无需训练的动态特征缓存框架,通过两个核心组件解决上述问题:(i)约束感知缓存模式搜索模块,通过离线约束采样生成非均匀的激活调度方案,以适应模型的时间特性;(ii)选择性计算模块,在缓存段内针对深层模块与高重要性标记进行选择性计算,以最小开销抑制误差累积。在PixArt-alpha与DiT上的大量实验表明,ProCache在几乎不损失生成质量的前提下,分别实现了最高1.96倍与2.90倍的加速效果,显著优于现有基于缓存的方法。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员