Tabular datasets are the last "unconquered castle" for deep learning, with traditional ML methods like Gradient-Boosted Decision Trees still performing strongly even against recent specialized neural architectures. In this paper, we hypothesize that the key to boosting the performance of neural networks lies in rethinking the joint and simultaneous application of a large set of modern regularization techniques. As a result, we propose regularizing plain Multilayer Perceptron (MLP) networks by searching for the optimal combination/cocktail of 13 regularization techniques for each dataset using a joint optimization over the decision on which regularizers to apply and their subsidiary hyperparameters. We empirically assess the impact of these regularization cocktails for MLPs in a large-scale empirical study comprising 40 tabular datasets and demonstrate that (i) well-regularized plain MLPs significantly outperform recent state-of-the-art specialized neural network architectures, and (ii) they even outperform strong traditional ML methods, such as XGBoost.


翻译:标签数据集是用于深层学习的最后一个“ 未征服的城堡 ”, 传统的 ML 方法, 如 梯子- 波形决定树等, 即使在最近的专门神经结构下, 也仍然表现强劲。 在本文中, 我们假设提高神经网络性能的关键在于重新思考大量现代正规化技术的联合和同时应用。 因此, 我们提议通过寻找13个正规化技术的最佳组合/ 孔径, 使每个数据集的13个正规化技术正规化, 使用联合优化方法, 来决定哪些监管者应用, 以及它们的辅助超参数 。 我们从经验上评估大型实验研究中, 由40个表格数据集构成的 MLP 正规化鸡尾酒对 MLPs 的影响, 并证明 (i) 正规化的纯化的纯化的 MLP 明显超越了最近的州专门神经网络结构, 以及 (ii) 它们甚至超越了强大的传统 ML 方法, 如 XGBoost 。

0
下载
关闭预览

相关内容

应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
专知会员服务
44+阅读 · 2020年10月31日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
LibRec 精选:EfficientNet、XLNet 论文及代码实现
LibRec智能推荐
5+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】Kaggle机器学习数据集推荐
机器学习研究会
8+阅读 · 2017年11月19日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2022年1月4日
Arxiv
9+阅读 · 2021年10月5日
Arxiv
9+阅读 · 2021年5月17日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
4+阅读 · 2017年12月25日
VIP会员
相关VIP内容
应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
专知会员服务
44+阅读 · 2020年10月31日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
相关资讯
LibRec 精选:EfficientNet、XLNet 论文及代码实现
LibRec智能推荐
5+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】Kaggle机器学习数据集推荐
机器学习研究会
8+阅读 · 2017年11月19日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Top
微信扫码咨询专知VIP会员