We introduce an exploratory study on Mutation Validation (MV), a model validation method using mutated training labels for supervised learning. MV mutates training data labels, retrains the model against the mutated data, then uses the metamorphic relation that captures the consequent training performance changes to assess model fit. It does not use a validation set or test set. The intuition underpinning MV is that overfitting models tend to fit noise in the training data. We explore 8 different learning algorithms, 18 datasets, and 5 types of hyperparameter tuning tasks. Our results demonstrate that MV is accurate in model selection: the model recommendation hit rate is 92\% for MV and less than 60\% for out-of-sample-validation. MV also provides more stable hyperparameter tuning results than out-of-sample-validation across different runs.


翻译:我们引入了对变异验证(MV)的探索性研究,这是一种使用变异培训标签进行监管学习的示范验证方法。 MV 变异培训数据标签,对变异数据重新对模型进行tratra intrain the model,然后使用反映随之而来的培训性能变化的变形关系来评估模型是否合适。它不使用一个验证数据集或测试数据集。MV 的直觉依据是,超匹配模型往往适合培训数据中的噪音。我们探索了8种不同的学习算法、18个数据集和5种超光谱调控任务。我们的结果显示,MV在模型选择中准确无误:MV的打击率是92 ⁇,对模拟校外校准的打击率不到60 ⁇ 。MV还提供比不同运行的反射外校准更稳定的超光度调结果。

0
下载
关闭预览

相关内容

专知会员服务
15+阅读 · 2021年8月25日
【KDD2020-Tutorial】自动推荐系统,Automated Recommendation System
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
已删除
将门创投
7+阅读 · 2018年10月12日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关VIP内容
专知会员服务
15+阅读 · 2021年8月25日
【KDD2020-Tutorial】自动推荐系统,Automated Recommendation System
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
相关资讯
已删除
将门创投
7+阅读 · 2018年10月12日
Top
微信扫码咨询专知VIP会员