Graph neural networks (GNNs) are powerful models that have been successful in various graph representation learning tasks. Whereas gradient boosted decision trees (GBDT) often outperform other machine learning methods when faced with heterogeneous tabular data. But what approach should be used for graphs with tabular node features? Previous GNN models have mostly focused on networks with homogeneous sparse features and, as we show, are suboptimal in the heterogeneous setting. In this work, we propose a novel architecture that trains GBDT and GNN jointly to get the best of both worlds: the GBDT model deals with heterogeneous features, while GNN accounts for the graph structure. Our model benefits from end-to-end optimization by allowing new trees to fit the gradient updates of GNN. With an extensive experimental comparison to the leading GBDT and GNN models, we demonstrate a significant increase in performance on a variety of graphs with tabular features. The code is available: https://github.com/nd7141/bgnn.


翻译:图形神经网络( GNN) 是各种图形化学习任务中取得成功的强大模型。 虽然梯度推动决策树( GBDT) 往往在面对多式表格数据时优于其他机器学习方法。 但是,对于带有列表节点特征的图表,应该采用什么方法? 以前的GNN模型主要侧重于具有相同零星特征的网络,而且正如我们所显示的那样,在多样性环境中,这些模型并不最优化。 在这项工作中,我们提议了一个新的结构来联合培训GBDT和GNNN, 以获得两个世界的最好效果: GBDT模型处理多种特征, 而GNN 则对图形结构进行核算。 我们的模型通过允许新树适合 GNN 的梯度更新而从终端到终端优化。 通过对领先的GBDT和GNN模型进行广泛的实验性能比较,我们展示了具有列表特征的各种图表的性能的显著提高。 代码是: https://github.com/nd7141/bgnn 。

3
下载
关闭预览

相关内容

GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
【2020新书】图机器学习,Graph-Powered Machine Learning
专知会员服务
337+阅读 · 2020年1月27日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
RF(随机森林)、GBDT、XGBoost面试级整理
数据挖掘入门与实战
6+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
Arxiv
0+阅读 · 2021年3月11日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
19+阅读 · 2019年11月23日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
26+阅读 · 2018年2月27日
VIP会员
相关VIP内容
相关资讯
RF(随机森林)、GBDT、XGBoost面试级整理
数据挖掘入门与实战
6+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
相关论文
Top
微信扫码咨询专知VIP会员