This work addresses meta-learning (ML) by considering deep networks with stochastic local winner-takes-all (LWTA) activations. This type of network units results in sparse representations from each model layer, as the units are organized into blocks where only one unit generates a non-zero output. The main operating principle of the introduced units rely on stochastic principles, as the network performs posterior sampling over competing units to select the winner. Therefore, the proposed networks are explicitly designed to extract input data representations of sparse stochastic nature, as opposed to the currently standard deterministic representation paradigm. Our approach produces state-of-the-art predictive accuracy on few-shot image classification and regression experiments, as well as reduced predictive error on an active learning setting; these improvements come with an immensely reduced computational cost.


翻译:这项工作涉及元学习(ML),方法是考虑与当地随机性赢家全取(LWTA)激活的深网络。这类网络单位导致每个模型层的表达形式很少,因为每个模型层的单位组成成区块,其中只有一个单位产生非零产出。引入单元的主要操作原则依赖于随机原则,因为网络对竞争的单位进行后继取样,以选择获胜者。因此,拟议的网络的设计明确是为了提取稀有的随机性输入数据,而不是目前的标准确定性代表模式。我们的方法在微小图像分类和回归实验方面产生最先进的预测准确性,并在积极的学习环境中减少预测错误;这些改进带来了巨大的计算成本。

0
下载
关闭预览

相关内容

剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
33+阅读 · 2021年1月20日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
55+阅读 · 2020年8月2日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
72+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
IEEE ICKG 2022: Call for Papers
机器学习与推荐算法
0+阅读 · 3月30日
ACM TOMM Call for Papers
CCF多媒体专委会
0+阅读 · 3月23日
AIART 2022 Call for Papers
CCF多媒体专委会
0+阅读 · 2月13日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
17+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
18+阅读 · 2017年12月17日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
VIP会员
相关资讯
IEEE ICKG 2022: Call for Papers
机器学习与推荐算法
0+阅读 · 3月30日
ACM TOMM Call for Papers
CCF多媒体专委会
0+阅读 · 3月23日
AIART 2022 Call for Papers
CCF多媒体专委会
0+阅读 · 2月13日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
17+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
18+阅读 · 2017年12月17日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员