【CNN】一文读懂卷积神经网络CNN

会员服务 ·

【CNN】一文读懂卷积神经网络CNN

2018 年 1 月 2 日 产业智能官

来源：机器学习算法与自然语言处理

作者：白雪峰

本文为图文结合，建议阅读10分钟。
本文为大家解读如何简单明了的解释卷积，并且分享了学习中的一些方法案例。

首先文章的提纲为：

CNN栗子镇楼
What is CNN

什么是卷积

什么是池化

Why CNN
对CNN的其他一些理解
CNN实现（接口）

1、CNN栗子（A Beginning Glimpse of CNN）

Modern CNN since Yann LeCun

上面是最经典和开始的两篇CNN的结构图

2、What is CNN？

神经网络？卷积？

2.1 什么是卷积？

卷积的定义

其连续的定义为：

特点：

2.2 离散卷积的栗子：

丢骰子时加起来要等于4的概率是多少？

二维离散的卷积

计算的动图如下

2.3 用到二维图像上:

关于卷积中常用到的一些概念：神经网络的卷积是对应位相乘，现在是信号相乘。

上面移动的小矩阵有两种叫法，一种叫做滤波器filter，一种加法叫做卷积核Kernel，是相同的东西只是不同的叫法。

2.4、用到神经网络中

我们其实需要学习的就是里面的线上面对应的权值，比如上面绿色的代表3*1的卷积核大小，只是这里用神经网络的结构表示出来了。

2.5、卷积的细节

filter/Kernel size,number
假设神经网络的输入是6*6的image,

其中每一个卷积核代表提取不同的特征，多个卷积核提取的特征然后进行组合(这样更强大)，一同送入到后续的结构。

下面来一个更通俗的解释：

每个人代表一个卷积核来进行提取不同的特征，一个人是弱小的，但是一组人就强大了，他们有着不同的知识（权重），这样类比来理解，就会好理解很多。

Stride

The step size you take the filter to sweep the image

Zero-padding

A way not to ignore pattern on border

New image is smaller than the original image

Channel

2.6 池化（pooling）

Max pooling 例子:

Pooling is unsensitive to local translation.(局部不变性）

"If we translation the input by a small amount ,the values of mosts of the pooled outputs do not change."

图像往左或者往右移动,pooling 的结果是不变的

2.7 flatten

2. 8 Convolution v.s. Fuly Connected

2.9 The whole CNN

So as the whole,CNN is conposed of

Convolution

Nonlinearity:e.g.ReLU

Pooling

FC Layers

3. Why CNN

Some patterns are much smaller whole image.

The same patterns appear in different regions

Subsampling the pixels will not change the object

4. 对CNN的其他一些理解

4.1 关于接受域（receptive field）

称在底层中影响上层输出单元s的单元合集为s的接受域（receptive field）。

处于卷积网络更深的层中的单元，它们的接受域要比处在浅层的单元的接受的域更大。如果网络还包含类似步幅卷积或者池化之类的结构特征，这种效应会加强。这意味着在卷积网络中尽管直接连接都是很稀疏的，但处在更深的层中的单元可以间接地链接到全部或者大部分输入图像。（表现性能）

4.2 卷积与池化作为一种无限强的先验

首先，弱先验具有较高的熵值，因此自由性较强，强先验具有较低的熵值，这样的先验在决定参数最终取值时可以起着非常积极的作用。

把卷积网络类比成全连接网络，但对于网络的权重具有无限强的先验。

所有隐藏单元的权重是共享的。
除了一些连续的小单元的权重外，其他的权重都是0.
池化也是一个无限强的先验：每个单元都具有对少量平移的不变性。

卷积和池化可能导致欠拟合！任何其他先验类似，卷积和池化只有当先验的夹着合理且正确时才有用。如果一项任务依赖于保存精确的空间信息，那么在所有的特征上使用池化将会增大训练误差。

根据实际需求选取先验

5. CNN in Pytorch

pytorch的相关接口

LeNet in PyTorch

参考：

如何通俗易懂得解释卷积（马同学知乎答案）

李宏毅老师slides

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。