现代深度学习已经在多个学科中带来了许多发现:计算机视觉、语音识别、自然语言处理技术以及纯粹通过自我游戏学习游戏的能力。这在很大程度上是由获取大量数据的能力以及与问题域匹配的适当的归纳偏差所驱动的。在本教程中,我们将探讨这一新兴技术与信息论的相互作用。特别地,我们将讨论两个主题。

(1) 深度学习在信息论中的应用:信息论学界在编码设计和解码算法方面率先取得了几项突破,彻底改变了现代数字通信。在这一主题中,我们将研究是否有可能利用现代深度学习技术来加速这种编码方案的发现。我们将介绍这一领域的各种发展,展示Viterbi和BCJR算法可以从观测数据中“学习”,以及如何为高密度编码学习比消息传递更好的算法。此外,经过充分研究的信道编码设置,我们基本上可以获得无限数量的训练数据,并且在一些设置中已经知道了接近最优的编码策略,可以提供一个视角,通过它可以改进和增强目前的深度学习技术。除了代码设计,深度学习作为一种通用函数逼近器在信息论中有更广泛的应用潜力。我们将谈到这个大致的概念。事实上,最近的一些研究已经将深度学习用于(条件)独立检验、互信息估计、压缩感知以及多假设检验中的误发现率控制。

(2)在第二个主题中,我们将对信息论原理在理解和设计深度学习系统中的应用进行调研。这些工作大致可分为三类:(a)代表性(b)可学习性。(A)事实上,深度学习的一个基本结果是紧密逼近任何连续函数的能力。有几个现代的表示定理的概括理解的数量和深度这样的网络需要近似各种函数类,以及一些不变的性质。我们将调研这些结果。(B)有一些新兴的工作,包括张量方法,在一些数学假设下为神经网络和混合专家提供了各种可学习性保证。

成为VIP会员查看完整内容
108

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《机器学习的最优传输》教程,63页PPT
专知会员服务
61+阅读 · 2022年4月30日
【经典书】贝叶斯强化学习概述,147页pdf
专知会员服务
100+阅读 · 2021年11月21日
【经典书】信息论与统计: 教程,116页pdf
专知会员服务
58+阅读 · 2021年3月27日
【WSDM2021-Ttutorial】深度学习异常检测,111页ppt
专知会员服务
150+阅读 · 2021年3月10日
最新《深度卷积神经网络理论》报告,35页ppt
专知会员服务
44+阅读 · 2020年11月30日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
【ICML2020Tutorial】机器学习信号处理,100页ppt
专知会员服务
108+阅读 · 2020年8月15日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
153+阅读 · 2020年2月7日
为什么深度学习是非参数的?
THU数据派
1+阅读 · 2022年3月29日
「PPT」深度学习中的不确定性估计
专知
25+阅读 · 2019年7月20日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年8月1日
Arxiv
67+阅读 · 2022年6月30日
Arxiv
63+阅读 · 2021年6月18日
Arxiv
10+阅读 · 2021年2月18日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
10+阅读 · 2017年12月29日
VIP会员
相关VIP内容
《机器学习的最优传输》教程,63页PPT
专知会员服务
61+阅读 · 2022年4月30日
【经典书】贝叶斯强化学习概述,147页pdf
专知会员服务
100+阅读 · 2021年11月21日
【经典书】信息论与统计: 教程,116页pdf
专知会员服务
58+阅读 · 2021年3月27日
【WSDM2021-Ttutorial】深度学习异常检测,111页ppt
专知会员服务
150+阅读 · 2021年3月10日
最新《深度卷积神经网络理论》报告,35页ppt
专知会员服务
44+阅读 · 2020年11月30日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
【ICML2020Tutorial】机器学习信号处理,100页ppt
专知会员服务
108+阅读 · 2020年8月15日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
153+阅读 · 2020年2月7日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
0+阅读 · 2022年8月1日
Arxiv
67+阅读 · 2022年6月30日
Arxiv
63+阅读 · 2021年6月18日
Arxiv
10+阅读 · 2021年2月18日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
10+阅读 · 2017年12月29日
微信扫码咨询专知VIP会员