两项第一！微信Embedding联合团队征战OGB斩获佳绩

近期，在国际顶级图学习基准评测榜单OGB(Open Graph Benchmark)中，微信支付与微信看一看embedding联合团队(zhitao、joyce、brian、yuanhang、justin)，凭借在边性质预测任务方面的出色表现，在学者合作网络、药物反应网络以及学术引用网络三个数据集的边预测竞赛中分列第一名、第一名和第二名。

该任务主要是基于观测到的图结构，预测未来会出现或未观测到的边关系。边预测算法可以广泛应用在如蛋白质交互检测、欺诈检测，朋友推荐以及商品推荐等多个工业界场景中。

参赛方案已整理成论文：Pairwise Learning for Neural Link Prediction (https://arxiv.org/pdf/2112.02936.pdf)

学者合作网络(ogbl-collab) 取得第一名

药物反应网络(ogbl-ddi) 取得第一名

学术引用网络(ogbl-citation2) 取得第二名

OGB Link Property Prediction榜单链接:

Leaderboards for Link Property Prediction | Open Graph Benchmark

（https://ogb.stanford.edu/docs/leader_linkprop/）

比赛介绍

OGB是目前公认最权威的图学习通用性能评价基准数据集，由斯坦福大学Jure Leskovec教授团队建立并开源，Yoshua Bengio、Will Hamilton与Max Welling等学术界大牛也出任OGB的指导委员会成员，吸引了斯坦福大学、康奈尔大学、北京大学、Facebook、NVIDIA、百度等国际顶尖高校与科技巨头参与。

该数据集涵盖了生物网络、分子图、学术网络和知识图谱等领域，且囊括了基本的节点预测、边预测、图预测等图学习任务，数据真实、极具挑战性，素有图神经网络领域“ImageNet”之称，已成为全球图神经网络研究者检验自身功力的“试剑石”。

技术介绍

边预测有两个特性，第一个特性是数据极度不均衡，由于现实世界中绝大多数图结构数据的天然稀疏性，正样本（有边关系的节点对）数量和负样本（无边关系的节点对）通常是极度不均衡的。第二个特性是旨在给出正样本相比于负样本更高的排序，并不需要给出明确的分类标签。

针对以上两个特性，我们提出了 一种更优的图神经网络边预测模型的学习算法，PLNLP。该算法利用Pairwise Learning to Rank的思路而非传统的二分类思路，对图神经网络边预测模型进行参数优化学习。如下图所示，PLNLP整体分为邻域编码器、边预测器、目标函数、负采样器等四个模块。

在邻域编码器模块，通用节点级别的图神经网络和定制的边级别的图神经网络都可以在这套算法框架下应用，具备良好的兼容性。在边预测器模块，引入了不同的打分函数能够适应有向图或无向图等不同性质的图数据。在目标函数模块，通过设计更贴近目标的损失函数，使得模型能够得到更优的参数学习。在负采样模块设计了多种采样策略，并且提出了一种负例共享机制使得模型的学习效率得到了提升，同时在输入侧还融合了数据增强技术进一步提升了算法的效果。

基于EmbedX大规模表示学习框架(它是基于C++开发的分布式表示学习框架，既支持图模型，也支持非图模型，具有训练效率高、数据规模大、易于扩展等优势，内部已开源，外部请期待），我们实现了 PLNLP算法的分布式版本，能够支持在十亿级节点，千亿级边的图数据上训练我们的模型。

本次比赛中使用到的邻域编码、边预测、负采样等通用技术，目前在 微信支付反欺诈、商户风控、营销发券等多个场景落地，取得了很好的应用效果。其中反欺诈场景致力于打击欺诈交易，我们基于有向图、异构图等模型，挖掘用户多阶复杂关系，在线上交易风险模型应用，准确度提升30%+。商户风控场景，我们基于半监督对比学习模型，与下游业务模型融合建模，整体模型KS提升10%+。

此外，本次比赛中使用到的图模型技术均已沉淀到分布式表示学习框架EmbedX之中，EmbedX在腾讯内部服务于 看一看、搜一搜、视频号、微信支付、安全、微信表情、腾讯新闻、应用宝、信息安全、QQ音乐、腾讯课堂、腾讯课堂、领航平台、Joox音乐等多个关键业务，帮助业务大幅提升用户体验。

团队介绍

从左到右依次是brian、joyce、zhitao、yuanhang、justin

本次取得优异成绩的团队由微信支付和微信看一看Embedding联合团队组成。

微信支付Embedding团队致力于前沿Graph Embedding算法的研究与落地，目前结合支付业务特性自研图对比学习、半监督Graphsage、有向图、动态图等多个算法，基于EmbedX框架提供大规模训练能力。团队成果在多个业务场景落地，效果提升显著，并沉淀一系列高质量文章。

微信看一看Embedding团队深耕于大规模机器学习系统设计与模型应用领域。团队研发成果EmbedX系统不仅支持十亿级节点、千亿级边的图模型训练与推理，还支持百亿级样本、百亿级特征的传统Embedding模型，包括排序、召回等的训练与推理。该系统应用于微信的搜索、推荐、支付等领域，并在此过程中，研发并沉淀了一套通用可迁移的模型库。

 微信AI 

不描摹技术的酷炫，不依赖拟人的形态，微信AI是什么？是悄无声息却无处不在，是用技术创造更高效率，是更懂你。

微信AI关注语音识别与合成、自然语言处理、计算机视觉、工业级推荐系统等领域，成果对内应用于微信翻译、微信视频号、微信看一看等业务，对外服务王者荣耀、QQ音乐等产品。