会员服务
Fisher信息矩阵 · INFORMS · 近似 · ReLU · SimPLe ·
2021 年 11 月 30 日
Approximate Spectral Decomposition of Fisher Information Matrix for Simple ReLU Networks
翻译：简单雷光U网络渔业信息矩阵的近光分解
Yoshinari Takeishi,Masazumi Iida,Jun'ichi Takeuchi
Yoshinari Takeishi,Masazumi Iida,Jun'ichi Takeuchi

We investigate the Fisher information matrix (FIM) of one hidden layer networks with the ReLU activation function and obtain an approximate spectral decomposition of FIM under certain conditions. From this decomposition, we can approximate the main eigenvalues and eigenvectors. We confirmed by numerical simulation that the obtained decomposition is approximately correct when the number of hidden nodes is about 10000.


翻译：我们调查了一个带有雷射线U激活功能的隐蔽层网络的渔业信息矩阵(FIM),并在某些条件下获得FIM的近似光谱分解。从这种分解中,我们可以接近主要的源值和源源体。我们通过数字模拟确认,当隐藏节点的数量约为10000时,获得的分解大致正确。
0
下载
关闭预览

相关内容

ICML2021接受论文列表出炉！1184篇论文都在这了！
专知会员服务
91+阅读 · 2021年6月3日
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
专知会员服务
67+阅读 · 2021年3月27日
【论文推荐】Stochastic Graph Neural Networks，随机图神经网络
【论文推荐】Stochastic Graph Neural Networks，随机图神经网络
专知会员服务
68+阅读 · 2020年6月6日
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
专知会员服务
94+阅读 · 2020年3月12日
【变分推断课件】Lectures on Variational Inference： Approximate Bayesian Inference in Machine Learning（附带pdf）
【变分推断课件】Lectures on Variational Inference： Approximate Bayesian Inference in Machine Learning（附带pdf）
专知会员服务
33+阅读 · 2019年11月30日
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
专知会员服务
9+阅读 · 2019年10月24日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
“CVPR 2020 接受论文列表 1470篇论文都在这了
“CVPR 2020 接受论文列表 1470篇论文都在这了
专知
71+阅读 · 2020年6月10日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【斯坦福CS205L新课程】聚焦机器学习的连续数学方法
【斯坦福CS205L新课程】聚焦机器学习的连续数学方法
专知
3+阅读 · 2019年12月8日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
【NIPS2018】接收论文列表
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表！
语音顶级会议Interspeech2018接受论文列表！
专知
6+阅读 · 2018年6月10日
随波逐流：Similarity-Adaptive and Discrete Optimization
随波逐流：Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【CNN】一文读懂卷积神经网络CNN
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Highway Networks For Sentence Classification
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Improved Random Features for Dot Product Kernels
Arxiv
0+阅读 · 2022年2月3日
Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition
Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition
Arxiv
0+阅读 · 2022年2月2日
A Riemann--Hilbert approach to the perturbation theory for orthogonal polynomials: Applications to numerical linear algebra and random matrix theory
Arxiv
0+阅读 · 2022年2月1日
Matrices of optimal tree-depth and a row-invariant parameterized algorithm for integer programming
Arxiv
0+阅读 · 2022年1月31日
Low Rank Approximation of Dual Complex Matrices
Arxiv
0+阅读 · 2022年1月30日
Polynomial-Time Approximation of Zero-Free Partition Functions
Arxiv
0+阅读 · 2022年1月30日
On the algorithm of best approximation by low rank matrices in the Chebyshev norm
Arxiv
0+阅读 · 2022年1月28日
The limiting spectral distribution of large dimensional general information-plus-noise type matrices
Arxiv
0+阅读 · 2022年1月28日
Matrix Decomposition and Applications
Arxiv
54+阅读 · 2022年1月1日
Regularizing End-to-End Speech Translation with Triangular Decomposition Agreement
Arxiv
7+阅读 · 2021年12月21日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
Fisher信息矩阵
INFORMS
近似
ReLU
SimPLe
相关VIP内容
ICML2021接受论文列表出炉！1184篇论文都在这了！
专知会员服务
91+阅读 · 2021年6月3日
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
专知会员服务
67+阅读 · 2021年3月27日
【论文推荐】Stochastic Graph Neural Networks，随机图神经网络
【论文推荐】Stochastic Graph Neural Networks，随机图神经网络
专知会员服务
68+阅读 · 2020年6月6日
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
专知会员服务
94+阅读 · 2020年3月12日
【变分推断课件】Lectures on Variational Inference： Approximate Bayesian Inference in Machine Learning（附带pdf）
【变分推断课件】Lectures on Variational Inference： Approximate Bayesian Inference in Machine Learning（附带pdf）
专知会员服务
33+阅读 · 2019年11月30日
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
专知会员服务
9+阅读 · 2019年10月24日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
热门VIP内容
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
“CVPR 2020 接受论文列表 1470篇论文都在这了
专知
71+阅读 · 2020年6月10日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【斯坦福CS205L新课程】聚焦机器学习的连续数学方法
【斯坦福CS205L新课程】聚焦机器学习的连续数学方法
专知
3+阅读 · 2019年12月8日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
【NIPS2018】接收论文列表
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表！
语音顶级会议Interspeech2018接受论文列表！
专知
6+阅读 · 2018年6月10日
随波逐流：Similarity-Adaptive and Discrete Optimization
随波逐流：Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【CNN】一文读懂卷积神经网络CNN
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Highway Networks For Sentence Classification
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Improved Random Features for Dot Product Kernels
Arxiv
0+阅读 · 2022年2月3日
Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition
Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition
Arxiv
0+阅读 · 2022年2月2日
A Riemann--Hilbert approach to the perturbation theory for orthogonal polynomials: Applications to numerical linear algebra and random matrix theory
Arxiv
0+阅读 · 2022年2月1日
Matrices of optimal tree-depth and a row-invariant parameterized algorithm for integer programming
Arxiv
0+阅读 · 2022年1月31日
Low Rank Approximation of Dual Complex Matrices
Arxiv
0+阅读 · 2022年1月30日
Polynomial-Time Approximation of Zero-Free Partition Functions
Arxiv
0+阅读 · 2022年1月30日
On the algorithm of best approximation by low rank matrices in the Chebyshev norm
Arxiv
0+阅读 · 2022年1月28日
The limiting spectral distribution of large dimensional general information-plus-noise type matrices
Arxiv
0+阅读 · 2022年1月28日
Matrix Decomposition and Applications
Arxiv
54+阅读 · 2022年1月1日
Regularizing End-to-End Speech Translation with Triangular Decomposition Agreement
Arxiv
7+阅读 · 2021年12月21日
Top
微信扫码咨询专知VIP会员
Top