【TKDE2022】学习正则化噪声对比估计的鲁棒网络嵌入

文章链接：https://www.computer.org/csdl/journal/tk/5555/01/09706295/1AO28U1Dnby

代码链接：https://github.com/ShawXh/RNCE

网络节点嵌入（network embedding）中许多方法基于噪声对比估计（noise constrative learning, NCE）。这类方法以自然语言处理中的word2vec为基础，包括了node2vec[1]，deepwalk[2]等经典算法，在学术界和工业界都获得了非常广泛的应用。这些方法的主要区别在于对于节点邻域的选择上（通过随机游走等方法）。本文总结了两种典型的NCE-based的网络嵌入方法的目标函数，从多个角度进行了理论的分析，最后提出通过在目标函数中添加一个距离项来规范学习的过程，使得得到的节点嵌入表示结果更加鲁棒。

本文提到的方法及相关结论在计算机视觉中对比学习领域最近的文章里也有提及。例如，ICML'20[3]中提出的alignment loss，实际上是本文提出的regularized distance function的一个特殊版本（高斯），以及 ICLR'22[4]中提到的dimensional collapse[5] 和本文提到的基于NCE的网络嵌入的扁平化的节点表示也异曲同工。

另外，本文提到的方法在网络节点嵌入领域在TKDE'20[6]、KDD'21[7] 中已经被采用，在开源图计算库DGL中也已被集成（LINE[8]，DeepWalk[9]）。