Google 研究科学家Mathieu Blondel在PSL大学的“机器学习的对偶性”课程材料。主题包括共轭函数,平滑技术,Fenchel对偶性,Fenchel-Young损失和块对偶坐标上升算法。

http://mblondel.org/teaching/duality-2020.pdf

成为VIP会员查看完整内容
0
30

相关内容

神经架构搜索(NAS)是一个很有前途的领域。首先,我将讨论围绕NAS建立科学社区的各种工作,包括基准测试、最佳实践和开放源码框架。然后,我将讨论该领域几个令人兴奋的方向:(1)广泛的NAS加速技术;(2)在Auto-PyTorch中结合NAS +超参数优化,实现现成的AutoML;(3)神经集成搜索(NES)的扩展问题定义,它搜索一组互补的架构,而不是像NAS中搜索的单一架构。

成为VIP会员查看完整内容
0
29

来自MILA,Aaron Courville的《自监督表示学习综述》, Introduction II - Overview of self-supervised representation learning?

成为VIP会员查看完整内容
0
55

来自Google研究科学家Mathieu Blondel的《梯度下降》教程,

成为VIP会员查看完整内容
0
54

深度学习在语音识别、计算机视觉等许多领域得到了广泛的应用和突破。其中涉及的深度神经网络结构和计算问题已经在机器学习中得到了很好的研究。但对于理解深度学习模型在网络架构中的建模、逼近或泛化能力,缺乏理论基础。在这里,我们对具有卷积结构的深度卷积神经网络(CNNs)很感兴趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本质的区别,而30年前发展起来的关于fully connected networks的经典理论并不适用。本讲座介绍了深度神经网络的数学理论与整流线性单元(ReLU)激活函数。特别是,我们首次证明了深度CNN的普遍性,即当神经网络的深度足够大时,深度CNN可以用来逼近任意的连续函数,达到任意的精度。我们还给出了显式的逼近率,并表明对于一般函数,深度神经网络的逼近能力至少与全连接多层神经网络一样好,对于径向函数更好。我们的定量估计严格按照待计算的自由参数的数量给出,验证了深度网络神经网络处理大数据的效率。

成为VIP会员查看完整内容
0
32

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
129
小贴士
相关VIP内容
专知会员服务
29+阅读 · 2020年12月30日
专知会员服务
55+阅读 · 2020年12月22日
专知会员服务
54+阅读 · 2020年12月5日
专知会员服务
32+阅读 · 2020年11月30日
专知会员服务
129+阅读 · 2020年5月22日
专知会员服务
23+阅读 · 2020年4月8日
专知会员服务
107+阅读 · 2020年2月1日
相关论文
An Adaptive Algorithm based on High-Dimensional Function Approximation to obtain Optimal Designs
Philipp Seufert,Jan Schwientek,Michael Bortz
0+阅读 · 1月15日
Anna R. Karlin,Nathan Klein,Shayan Oveis Gharan,Xinzhi Zhang
0+阅读 · 1月15日
Hidden Markov chains and fields with observations in Riemannian manifolds
Salem Said,Nicolas Le Bihan,Jonathan H. Manton
0+阅读 · 1月14日
Jui-Ting Huang,Ashish Sharma,Shuying Sun,Li Xia,David Zhang,Philip Pronin,Janani Padmanabhan,Giuseppe Ottaviano,Linjun Yang
11+阅读 · 2020年6月20日
Dai Quoc Nguyen,Thanh Vu,Tu Dinh Nguyen,Dinh Phung
4+阅读 · 2019年3月6日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Wenhao Jiang,Lin Ma,Xinpeng Chen,Hanwang Zhang,Wei Liu
6+阅读 · 2018年4月3日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Matthew Kennedy,Nicholas A. Manor,Vern I. Paulsen
5+阅读 · 2017年12月7日
Top