也谈压缩感知和贝叶斯大脑

2018 年 8 月 8 日 人工智能学家

来源:科学网


压缩感知和人工智能都是当下很热很热的研究课题。不过许多论文数学论述高深莫测,加之一大堆各种千奇百怪的数学符号,不仅让人望而生畏,望而却步。笔者对希望用形象的比喻把问题大致轮廓讲清楚就好。


所谓压缩感知是什么呢,根据笔者个人的理解,就是信号变换,这个变换不是随便找的,而是要满足一定条件。什么条件呢?讲个故事吧。


比如牛郎和织女由于几千年来每年两人只能在鹊桥上会一面,也一直没能留下一儿半女,牛郎和对门的潘银莲暗生情愫,准备纳为二房。按照天法规定,纳二房必须要通知大房老婆,否则二房只能算小三,没有法律保护。本来牛郎想等到七月初七再跟织女说,但小潘怎么也等不及了,催着牛郎赶紧把这事给办了,否则就跟净坛使者走了。没办法,牛郎抓耳挠腮之下,想到一个办法,委托律师写律师函给织女,用DHL快递过去,把问题讲清楚,也算是给小潘一个交代吧。


织女这边,虽然收到了信,奈何织女文化程度不高,大部分字都不认识,无法完整地理解信上说的内容。好在隔壁住的是雅典娜,娜可是出了名的智慧女神,在网上花了半年就会认识中国字了,再翻译给织女听。%@#$%&()@#%……,此处织女说了10581个不雅字,不赘述。


这里那封律师函就相当于信号,不管你懂与不懂,信(号)就在这里,不会改变。


雅典娜算是变换1,这半年还是费时间啊。让我们假设一下,织女收到信后,并没有找雅典娜,而是遇到了扎克伯格,没错就是google的大Boss,小扎说这有什么难的,来我帮你翻译,随即掏出手机,点开有道词典app(对,你没看错,就是网易的有道词典),啪,对着信拍了一张照片,通过拍照翻译把内容翻译成英文,再用中文讲给织女听了。你知道的,小扎娶了华裔姑娘做老婆,会讲中文,不过中文字还是理解困难。


那这里小扎这个变换Z加上有道词典的变换Y,变换2=Z*Y,显然变换2要比变换1省时间的多。


压缩感知就是这么一个东东,对于信号(信号所包含信息是不变的),如果遇到一个不那么在点的测量矩阵(比如雅典娜),要花很长时间(或者占用很多的频谱资源,道理是一样的哈~)才能把信息恢复出来。但是如果找到好的测量矩阵(比如扎克伯格+网易有道词典),那点事都不叫事,也就几秒的时间。所以说压缩感知的变换是要满足一定条件的,这个条件就是找到一个合适的测量矩阵,把信号给简单的表示出来。


回到数学表述上,对于信号所携带信息的恢复,是要用测量矩阵进行测量,然后根据测量值对信息进行恢复的。比如在傅里叶变换中,测量矩阵就是一系列的正交三角函数。如果一个信号用某个测量矩阵表示比较复杂的话,其实一定是有另外一种形式的测量矩阵可以把这个信号用更简洁的形式的表示出来的(可能会产生一些微不足道的信息损失)。那么在传输过程中用这个信号的简洁形式就可以了。在接收端,再把信号所携带的信息还原出来。值得说明的是,虽然信号在传输过程得到了压缩,但是还原过程可能会复杂一些。


所以,压缩感知的研究重点在于对于不同的应用场景如何找到发现合适的压缩感知测量矩阵。这里就可以发挥贝叶斯大脑的作用了。




其实贝叶斯公式也没有什么,只不过是一种概率分布罢了,只不过这种概率分布具有阴阳变换特点(可以参考我们的太极图加以理解)。说到这里,笔者对于科学的话语权掌握在西方的手中表示不安。现代科学体系是建立在西方哲学和文化基础之上的,我们东方民族在人家的盖好框架的大厦里有一种天然的劣势。笔者感觉要实现东方崛起,有必要打破这种框架,跳出定式思维。这是我为什么在之前的博文提倡科学成果以中文发表的原因。


扯远了,再回到贝叶斯,为什么在人工智能,机器学习中频频提到贝叶斯呢?贝爷的公式是在17**年代就发展出了的啊,难道贝爷可以预测未来?其实笔者认为这有点类似傍大款。在人工智能初期研究中,AI还是一个一文不名的穷小子,所以一定要拉上一个豪门来说明自己的高大上。简而言之,所谓贝叶斯大脑,其想表达的意思只不过是人类的大脑具有知识归纳,记忆的功能罢了。


贝叶斯大脑认为人类的学习能力是基于不断试错而得到的。但笔者认为这只代表了人脑的功能之一,并不能说人脑的智慧仅仅是通过不断试错而产生的。笔者认为人类智慧(乃至动物智慧)是分层次叠加成系统的,并不是说某一项功能(试错、归纳)就可以解释大脑智慧形成的原因,其成因至少目前还没有定论。而压缩感知中提到贝叶斯,只不过想表明其试图用归纳和试错的方法来找到一个合适的测量矩阵(变换)罢了。


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

登录查看更多
3

相关内容

压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目。 compressive sensing(CS) 又称 compressived sensing ,compressived sample,大意是在采集信号的时候(模拟到数字),同时完成对信号压缩之意。 与稀疏表示不同,压缩感知关注的是如何利用信号本身所具有的稀疏性,从部分观测样本中恢复原信号。
【纽约大学】最新《离散数学》笔记,451页pdf
专知会员服务
123+阅读 · 2020年5月26日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
53+阅读 · 2020年4月18日
【干货书】数值计算C编程,319页pdf,Numerical C
专知会员服务
66+阅读 · 2020年4月7日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
314+阅读 · 2020年3月23日
机器学习速查手册,135页pdf
专知会员服务
336+阅读 · 2020年3月15日
【经典书】Python计算机视觉编程,中文版,363页pdf
专知会员服务
136+阅读 · 2020年2月16日
特征方程的物理意义
算法与数学之美
6+阅读 · 2019年5月13日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
送书 | 深入浅出,一起学习贝叶斯!
AI100
10+阅读 · 2018年2月2日
如何轻松解锁神经网络的数学姿势
ImportNew
6+阅读 · 2018年1月4日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
独家 | 一文读懂贝叶斯分类算法(附学习资源)
数据派THU
7+阅读 · 2017年12月7日
专栏 | 贝叶斯学习与未来人工智能
机器之心
10+阅读 · 2017年9月19日
概率论与随机过程相关书籍点评
算法与数学之美
9+阅读 · 2017年8月11日
Phase-aware Speech Enhancement with Deep Complex U-Net
Arxiv
11+阅读 · 2018年9月28日
Arxiv
9+阅读 · 2016年10月27日
VIP会员
相关VIP内容
【纽约大学】最新《离散数学》笔记,451页pdf
专知会员服务
123+阅读 · 2020年5月26日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
53+阅读 · 2020年4月18日
【干货书】数值计算C编程,319页pdf,Numerical C
专知会员服务
66+阅读 · 2020年4月7日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
314+阅读 · 2020年3月23日
机器学习速查手册,135页pdf
专知会员服务
336+阅读 · 2020年3月15日
【经典书】Python计算机视觉编程,中文版,363页pdf
专知会员服务
136+阅读 · 2020年2月16日
相关资讯
特征方程的物理意义
算法与数学之美
6+阅读 · 2019年5月13日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
送书 | 深入浅出,一起学习贝叶斯!
AI100
10+阅读 · 2018年2月2日
如何轻松解锁神经网络的数学姿势
ImportNew
6+阅读 · 2018年1月4日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
独家 | 一文读懂贝叶斯分类算法(附学习资源)
数据派THU
7+阅读 · 2017年12月7日
专栏 | 贝叶斯学习与未来人工智能
机器之心
10+阅读 · 2017年9月19日
概率论与随机过程相关书籍点评
算法与数学之美
9+阅读 · 2017年8月11日
Top
微信扫码咨询专知VIP会员