Deep clustering hinges on learning representations that are inherently clusterable. However, using a single encoder to produce a fixed embedding ignores the representation trajectory formed by a pretrained diffusion model across network hierarchies and noise timesteps, where clusterability varies substantially. We propose DiEC (Diffusion Embedded Clustering), which performs unsupervised clustering by directly reading internal activations from a pretrained diffusion U-Net. DiEC formulates representation selection as a two-dimensional search over layer x timestep, and exploits a weak-coupling property to decompose it into two stages. Specifically, we first fix the U-Net bottleneck layer as the Clustering-friendly Middle Layer (CML), and then use Optimal Timestep Search (OTS) to identify the clustering-optimal timestep (t*). During training, we extract bottleneck features at the fixed t* and obtain clustering representations via a lightweight residual mapping. We optimize a DEC-style KL self-training objective, augmented with adaptive graph regularization and entropy regularization to strengthen cluster structures. In parallel, we introduce a denoising-consistency branch at random timesteps to stabilize the representations and preserve generative consistency. Experiments show that DiEC achieves competitive clustering performance on multiple standard benchmarks.


翻译:深度聚类的关键在于学习本质上具有可聚类性的表示。然而,使用单一编码器生成固定嵌入的做法,忽略了预训练扩散模型在网络层次和噪声时间步上所形成的表示轨迹,而该轨迹中的可聚类性差异显著。我们提出了DiEC(扩散嵌入聚类),该方法通过直接读取预训练扩散U-Net的内部激活来进行无监督聚类。DiEC将表示选择问题表述为一个在层×时间步上的二维搜索,并利用弱耦合特性将其分解为两个阶段。具体而言,我们首先将U-Net的瓶颈层固定为聚类友好中间层(CML),然后使用最优时间步搜索(OTS)来识别聚类最优时间步(t*)。在训练过程中,我们在固定的t*处提取瓶颈特征,并通过一个轻量级残差映射获得聚类表示。我们优化了一个DEC风格的KL自训练目标,并辅以自适应图正则化和熵正则化以增强聚类结构。同时,我们在随机时间步引入一个去噪一致性分支,以稳定表示并保持生成一致性。实验表明,DiEC在多个标准基准测试中取得了具有竞争力的聚类性能。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
专知会员服务
15+阅读 · 2021年9月11日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月24日
Arxiv
0+阅读 · 12月19日
VIP会员
相关VIP内容
【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
专知会员服务
15+阅读 · 2021年9月11日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员