【NeuraIPS2020-谷歌】用于鲁棒性和不确定性量化的超参数集成

由不同的随机初始化训练的神经网络权重集合，被称为深度集合，实现了最先进的精度和校准。最近引入的批量集成提供了一个更有效的参数替换。在本文中，我们不仅设计了权值，而且设计了超参数，以改善这两种情况下的技术状况。为了获得不依赖预算的最佳性能，我们提出了超深集合，这是一个简单的过程，涉及对不同超参数的随机搜索，它们本身在多个随机初始化中分层。其强大的性能突出的好处，结合模型的重量和超参数多样性。在批量集成和自调优网络的基础上，进一步提出了参数高效的超批量集成。该方法的计算和内存成本明显低于典型的集成。在图像分类任务上，通过MLP、LeNet和Wide ResNet 28-10架构，我们的方法在深度和批处理集成上都有所改进。

https://www.zhuanzhi.ai/paper/e7ca9fa3f26bba7844c576a522f29c63

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“RUQ” 可以获取《【NeuraIPS2020-谷歌】用于鲁棒性和不确定性量化的超参数集成》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源