【KDD2021-腾讯】Apache Spark大规模网络嵌入

网络嵌入在社交推荐和网络分析中得到了广泛的应用，如推荐系统、图异常检测等。然而，以前的大多数方法不能有效地处理大型图，这是由于(i)图上的计算通常是昂贵的，(ii)图的大小或向量的中间结果可能是非常大的，导致要在一台机器上处理。本文利用Apache Spark提出了一种高效的大型图上网络嵌入的分布式算法，该算法将一个图递归地划分为若干个小的子图来捕获节点的内部和外部结构信息，然后并行计算每个子图的网络嵌入。最后，通过聚合所有子图上的输出，以线性代价得到节点的嵌入。在那之后，我们在各种实验中证明了我们提出的方法能够在几个小时内处理拥有数十亿条边的图，并且比最先进的方法至少快4倍。在链路预测和节点分类任务方面分别提高了4.25%和4.27%。最后，我们将所提出的算法应用于腾讯的两款网络游戏中，分别应用好友推荐和项目推荐，在运行时间上提高了竞争者高达91.11%，在相应的评价指标上提高了12.80%。

https://arxiv.org/abs/2106.10620