【CNN】多角度理解CNN

2020 年 2 月 28 日 深度学习自然语言处理

点击上方,选择星标置顶,每天给你送干货

阅读大概需要4分钟

跟随小博主,每天进步一丢丢


来自:NewBeeNLP

本文主题

图像

Filter

Filter 作用图像后结果

如何得到?

等式角度

神经网络角度

矩阵乘法角度

上图的矩阵可以看成是传统神经网络中的权重矩阵,但是有两点不同:

  • 灰色显示的 0是不可训练的,这意味着它们在整个优化过程中保持为零;
  • 有些权重是相等的,虽然它们是可训练的(即可改变的),但它们必须保持相等。这些被称为“ 共享权重”。

Dense 神经网络角度

这一角度可以更好理解传统神经网络和 CNN 之间的联系,其中左图是传统神经网络,右图是 Dense 神经网络视角下的 CNN。灰色连接对应于不可训练的 0。

通过 zero-padding 保持原尺寸

注意到我们以上是从 3x3 矩阵变成了 2x2,但是通过 zero-padding 我们可以得到 3x3 结果,具体实现为,

Reference

  1. Fast.ai 课程 [1],特别是其中的conv-example [2]以及对应的视频(0:00-14:00) [3]
  2. Michael Nielsen 的神经网络与深度学习 [4]
  3. Realistic views [5]
  4. Visualizing what ConvNets learn [6]

本文参考资料

[1]

Fast.ai 课程: https://course.fast.ai/

[2]

conv-example: https://github.com/fastai/courses/blob/master/deeplearning1/excel/conv-example.xlsx

[3]

对应的视频(0:00-14:00): https://www.youtube.com/watch?v=V2h3IOBDvrA

[4]

Michael Nielsen 的神经网络与深度学习: http://neuralnetworksanddeeplearning.com/

[5]

Realistic views: http://setosa.io/ev/image-kernels/

[6]

Visualizing what ConvNets learn: http://cs231n.github.io/understanding-cnn/

- END -



投稿或交流学习,备注: 昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多: 机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等
记得备注呦


让更多的人知道你“在看”
登录查看更多
2

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
【干货51页PPT】深度学习理论理解探索
专知会员服务
61+阅读 · 2019年12月24日
【课程】伯克利2019全栈深度学习课程(附下载)
专知会员服务
56+阅读 · 2019年10月29日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
干货合集 | 卷积神经网络CNN的基本原理
七月在线实验室
6+阅读 · 2018年7月27日
用CNN做在NLP句子分类
数据挖掘入门与实战
7+阅读 · 2018年5月9日
入门 | 一文看懂卷积神经网络
算法与数学之美
7+阅读 · 2018年2月22日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
干货 | 深度学习之卷积神经网络(CNN)的模型结构
机器学习算法与Python学习
12+阅读 · 2017年11月1日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【深度】Deep Visualization:可视化并理解CNN
专知
11+阅读 · 2017年9月30日
深入理解LSTM网络
深度学习
17+阅读 · 2017年6月7日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
20+阅读 · 2019年11月23日
Single-frame Regularization for Temporally Stable CNNs
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
21+阅读 · 2018年5月23日
Arxiv
10+阅读 · 2017年11月22日
VIP会员
相关VIP内容
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
【干货51页PPT】深度学习理论理解探索
专知会员服务
61+阅读 · 2019年12月24日
【课程】伯克利2019全栈深度学习课程(附下载)
专知会员服务
56+阅读 · 2019年10月29日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
干货合集 | 卷积神经网络CNN的基本原理
七月在线实验室
6+阅读 · 2018年7月27日
用CNN做在NLP句子分类
数据挖掘入门与实战
7+阅读 · 2018年5月9日
入门 | 一文看懂卷积神经网络
算法与数学之美
7+阅读 · 2018年2月22日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
干货 | 深度学习之卷积神经网络(CNN)的模型结构
机器学习算法与Python学习
12+阅读 · 2017年11月1日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【深度】Deep Visualization:可视化并理解CNN
专知
11+阅读 · 2017年9月30日
深入理解LSTM网络
深度学习
17+阅读 · 2017年6月7日
相关论文
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
20+阅读 · 2019年11月23日
Single-frame Regularization for Temporally Stable CNNs
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
21+阅读 · 2018年5月23日
Arxiv
10+阅读 · 2017年11月22日
Top
微信扫码咨询专知VIP会员